图像处理方法和装置、以及视频处理方法和装置转让专利

申请号 : CN202210997426.3

文献号 : CN115063327B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 昝航吴克寿何艳坤马凤翔

申请人 : 摩尔线程智能科技(北京)有限责任公司

摘要 :

本公开提供了图像处理方法和装置。所述图像处理方法包括:获取与原始图像的各个像素的亮度相关的第一编码值的第一集合;使用与原始图像对应的第一函数组合将第一集合变换为包括第二编码值的第二集合,第一函数组合包括第一变换函数和第二变换函数,第一变换函数用于将第一集合中的各第一编码值变换为对应的第一亮度值,第二变换函数用于将对应的第一亮度值变换为第二集合中的第二编码值;根据第二集合确定目标图像,使得目标图像的各个像素的亮度与第二集合中的第二编码值相关;其中,第一函数组合被配置成使得第一集合中任何互不相同的两个第一编码值在第二集合中的对应的两个第二编码值也互不相同。本公开还提供了视频处理方法和装置。

权利要求 :

1.一种图像处理方法,其特征在于,所述图像处理方法包括:

获取与原始图像的各个像素的亮度相关的第一编码值的第一集合;

使用与所述原始图像对应的第一函数组合将所述第一集合变换为包括第二编码值的第二集合,所述第一函数组合包括第一变换函数和第二变换函数,所述第一变换函数用于将所述第一集合中的各第一编码值变换为对应的第一亮度值,所述第二变换函数用于将所述对应的第一亮度值变换为所述第二集合中的第二编码值;

根据所述第二集合确定目标图像,使得所述目标图像的各个像素的亮度与所述第二集合中的第二编码值相关;

其中,所述第一函数组合被配置成使得所述第一集合中任何互不相同的两个第一编码值在所述第二集合中的对应的两个第二编码值也互不相同。

2.根据权利要求1所述的方法,其特征在于,所述第一变换函数和所述第二变换函数通过以下方法被确定:根据第二函数组合确定包括多个第三编码值的第三集合,所述第二函数组合包括输入量化电光传递函数和输出量化电光传递函数;以及根据所述第三集合中的所述多个第三编码值之间的差异,对所述输入量化电光传递函数和所述输出量化电光传递函数中的至少一个进行修改,以确定所述第一函数组合;

其中,所述第三集合中的任意两个第三编码值互不相同,并且所述第三集合满足以下条件:所述第三集合中互不相同的第三编码值经预设处理所得到的对应编码值相同;

并且其中,所述预设处理包括:使用所述输入量化电光传递函数对所述第三集合中所述互不相同的第三编码值进行解码以确定对应解码值,以及使用所述输出量化电光传递函数的逆函数对所述对应解码值进行编码以得到对应编码值。

3.根据权利要求2所述的方法,其特征在于,所述根据所述第三集合中的所述多个第三编码值之间的差异,对所述输入量化电光传递函数和所述输出量化电光传递函数中的至少一个进行修改,以确定所述第一函数组合,包括:根据所述第三集合中的所述多个第三编码值之间的差异,确定多个互不相同的第三函数组合,其中每个所述第三函数组合是通过对所述第二函数组合中的所述输入量化电光传递函数和所述输出量化电光传递函数中的至少一个进行修改而被确定的;以及将所述多个互不相同的第三函数组合中的一个函数组合作为与所述原始图像对应的所述第一函数组合。

4.根据权利要求3所述的方法,其特征在于,所述第三函数组合的数量不小于所述第三集合中的所述多个第三编码值之间的差异的最大值。

5.根据权利要求3所述的方法,其特征在于,所述原始图像是图像集合中的图像,所述图像集合中的各个图像之间具有时序关系,其中,所述将所述多个互不相同的第三函数组合中的一个函数组合作为与所述原始图像对应的所述第一函数组合,包括:根据预设对应关系,将所述多个互不相同的第三函数组合中的一个函数组合作为与所述原始图像对应的所述第一函数组合,所述预设对应关系表征所述多个互不相同的第三函数组合中的函数组合与所述图像集合中的各个图像之间的对应关系。

6.根据权利要求5所述的方法,其特征在于,所述预设对应关系通过以下步骤被确定:根据所述时序关系,周期性地将所述多个互不相同的第三函数组合对应到所述图像集合中的各个图像。

7.根据权利要求3所述的方法,其特征在于,所述输入量化电光传递函数为感知量化电光传递函数,并且其中所述输出量化电光传递函数为混合对数伽马电光传递函数。

8.根据权利要求1所述的方法,其特征在于,所述第一亮度值的位深度采用以下中的一种:24位、32位。

9.根据权利要求1所述的方法,其特征在于,所述第一编码值的位深度采用以下中的一种:8位、10位、以及14位,并且其中所述第二编码值的位深度采用以下中的一种:8位、10位、以及14位。

10.一种视频处理方法,其特征在于,所述视频处理方法包括:

获取原始视频,所述原始视频包括多个视频帧图像;

分别将所述多个视频帧图像中的每个视频帧图像作为原始图像,使用权利要求1所述的方法对所述原始图像进行处理以得到目标图像,从而得到目标视频。

11.一种图像处理装置,其特征在于,所述图像处理装置包括:

数据获取模块,被配置为获取与原始图像的各个像素的亮度相关的第一编码值的第一集合;

数据变换模块,被配置为使用与所述原始图像对应的第一函数组合将所述第一集合变换为包括第二编码值的第二集合,所述第一函数组合包括第一变换函数和第二变换函数,所述第一变换函数用于将所述第一集合中的各第一编码值变换为对应的第一亮度值,所述第二变换函数用于将所述对应的第一亮度值变换为所述第二集合中的第二编码值;

图像确定模块,被配置为根据所述第二集合确定目标图像,使得所述目标图像的各个像素的亮度与所述第二集合中的第二编码值相关;

其中,所述第一函数组合被配置成使得所述第一集合中任何互不相同的两个第一编码值在所述第二集合中的对应的两个第二编码值也互不相同。

12.一种视频处理装置,其特征在于,所述视频处理装置包括:

视频获取模块,被配置为获取原始视频,所述原始视频包括多个视频帧图像;

视频处理模块,被配置为分别将所述多个视频帧图像中的每个视频帧图像作为原始图像,使用权利要求11所述的图像处理装置对所述原始图像进行处理以得到目标图像,从而得到目标视频。

13.一种计算设备,其特征在于,所述计算设备包括:

存储器,其被配置成存储计算机可执行指令;

处理器,其被配置成当所述计算机可执行指令被处理器执行时执行根据权利要求1至

10中的任一项所述的方法。

14.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机可执行指令,当所述计算机可执行指令被执行时,执行根据权利要求1至10中的任一项所述的方法。

说明书 :

图像处理方法和装置、以及视频处理方法和装置

技术领域

[0001] 本公开涉及数据处理领域,具体地,涉及一种用于处理图像的方法和装置、视频处理方法和装置、计算设备、计算机可读存储介质以及计算机程序产品。

背景技术

[0002] 随着图像、视频等多种形式的影像显示技术的不断发展,人们对获取更高动态范围(在相关领域中,动态范围一般用来指代显示媒介(例如,视频、图像或视频帧图像)上可以显示的亮度范围)的显示技术展开了多种角度的研究。其中,高动态范围(High Dynamic Range, HDR)显示技术因其更大的亮度显示范围、更丰富的色彩和更生动的细节表现在影像显示领域中得到了越来越普遍的应用。在HDR显示应用中,往往需要根据实际的场景和需求(例如,显示设备的显示能力)在不同的HDR格式之间进行转换。
[0003] 在相关技术中,可以根据需要转换的不同HDR格式对应的电光传递函数来实现HDR格式的转换。例如,将输入信号(非线性电信号)按照对应的电光传递函数进行解码,以得到线性信号(光信号);然后按照显示设备侧需要的电光传递函数的逆函数进行编码压缩,以得到输出信号(非线性电信号)。然而,在以上HDR格式转换过程中,由于不同的电光传递函数自身的不同特性(例如,它们采用不同的压缩方法),可能导致一部分具有不同编码值的输入信号经过以上转换过程所得到的输出信号具有相同的编码值,从而导致最终输出的图像存在带状伪影的问题。

发明内容

[0004] 有鉴于此,本公开提供了一种用于处理图像的方法和装置、视频处理方法和装置、计算设备、计算机可读存储介质以及计算机程序产品,以缓解、减轻、甚至消除上述问题。
[0005] 根据本公开的一个方面,提供了一种图像处理方法,包括:获取与原始图像的各个像素的亮度相关的第一编码值的第一集合;使用与所述原始图像对应的第一函数组合将所述第一集合变换为包括第二编码值的第二集合,所述第一函数组合包括第一变换函数和第二变换函数,所述第一变换函数用于将所述第一集合中的各第一编码值变换为对应的第一亮度值,所述第二变换函数用于将所述对应的第一亮度值变换为所述第二集合中的第二编码值;根据所述第二集合确定目标图像,使得所述目标图像的各个像素的亮度与所述第二集合中的第二编码值相关;其中,所述第一函数组合被配置成使得所述第一集合中任何互不相同的两个第一编码值在所述第二集合中的对应的两个第二编码值也互不相同。
[0006] 根据本公开的一些实施例,所述第一变换函数和所述第二变换函数通过以下方法被确定:根据第二函数组合确定包括多个第三编码值的第三集合,所述第二函数组合包括输入量化电光传递函数和输出量化电光传递函数;以及根据所述第三集合中的所述多个第三编码值之间的差异,对所述输入量化电光传递函数和所述输出量化电光传递函数中的至少一个进行修改,以确定所述第一函数组合;其中,所述第三集合中的任意两个第三编码值互不相同,并且所述第三集合满足以下条件:所述第三集合中互不相同的第三编码值经预设处理所得到的对应编码值相同;并且其中,所述预设处理包括:使用所述输入量化电光传递函数对所述第三集合中所述互不相同的第三编码值进行解码以确定对应解码值,以及使用所述输出量化电光传递函数的逆函数对所述对应解码值进行编码以得到对应编码值。
[0007] 根据本公开的一些实施例,所述根据所述第三集合中的所述多个第三编码值之间的差异,对所述输入量化电光传递函数和所述输出量化电光传递函数中的至少一个进行修改,以确定所述第一函数组合,包括:根据所述第三集合中的所述多个第三编码值之间的差异,确定多个互不相同的第三函数组合,其中每个所述第三函数组合是通过对所述第二函数组合中的所述输入量化电光传递函数和所述输出量化电光传递函数中的至少一个进行修改而被确定的;以及将所述多个互不相同的第三函数组合中的一个函数组合作为与所述原始图像对应的所述第一函数组合。
[0008] 根据本公开的一些实施例,所述第三函数组合的数量不小于所述第三集合中的所述多个第三编码值之间的差异的最大值。
[0009] 根据本公开的一些实施例,所述原始图像是图像集合中的图像,所述图像集合中的各个图像之间具有时序关系,其中,所述将所述多个互不相同的第三函数组合中的一个函数组合作为与所述原始图像对应的所述第一函数组合,包括:根据预设对应关系,将所述多个互不相同的第三函数组合中的一个函数组合作为与所述原始图像对应的所述第一函数组合,所述预设对应关系表征所述多个互不相同的第三函数组合中的函数组合与所述图像集合中的各个图像之间的对应关系。
[0010] 根据本公开的一些实施例,所述预设对应关系通过以下步骤被确定:根据所述时序关系,周期性地将所述多个互不相同的第三函数组合对应到所述图像集合中的各个图像。
[0011] 根据本公开的一些实施例,所述输入量化电光传递函数为感知量化电光传递函数,并且其中所述输出量化电光传递函数为混合对数伽马电光传递函数。
[0012] 根据本公开的一些实施例,所述第一亮度值的位深度采用以下中的一种:24位、32位。
[0013] 根据本公开的一些实施例,所述第一编码值的位深度采用以下中的一种:8位、10位、以及14位,并且其中所述第二编码值的位深度采用以下中的一种:8位、10位、以及14位。
[0014] 根据本公开的另一个方面,提供了一种视频处理方法,所述方法包括:获取原始视频,所述原始视频包括多个视频帧图像;分别将所述多个视频帧图像中的每个视频帧图像作为原始图像,使用前述图像处理方法对所述原始图像进行处理以得到目标图像,从而得到目标视频。
[0015] 根据本公开的又一个方面,提供了一种图像处理装置,包括:数据获取模块,被配置为获取与原始图像的各个像素的亮度相关的第一编码值的第一集合;数据变换模块,被配置为使用与所述原始图像对应的第一函数组合将所述第一集合变换为包括第二编码值的第二集合,所述第一函数组合包括第一变换函数和第二变换函数,所述第一变换函数用于将所述第一集合中的各第一编码值变换为对应的第一亮度值,所述第二变换函数用于将所述对应的第一亮度值变换为所述第二集合中的第二编码值;图像确定模块,被配置为根据所述第二集合确定目标图像,使得所述目标图像的各个像素的亮度与所述第二集合中的第二编码值相关;其中,所述第一函数组合被配置成使得所述第一集合中任何互不相同的两个第一编码值在所述第二集合中的对应的两个第二编码值也互不相同。
[0016] 根据本公开的又一个方面,提供了一种视频处理装置,包括:视频获取模块,被配置为获取原始视频,所述原始视频包括多个视频帧图像;视频处理模块,被配置为分别将所述多个视频帧图像中的每个视频帧图像作为原始图像,使用前述图像处理装置对所述原始图像进行处理以得到目标图像,从而得到目标视频。
[0017] 根据本公开的又一个方面,提供了一种计算设备,包括:存储器,其被配置成存储计算机可执行指令;处理器,其被配置成当所述计算机可执行指令被处理器执行时执行根据本公开的前述方面提供的任一方法。
[0018] 根据本公开的又一个方面,提供了一种计算机可读存储介质,其存储有计算机可执行指令,当所述计算机可执行指令被执行时,执行根据本公开的前述方面提供的任一方法。
[0019] 根据本公开的又一个方面,提供了一种计算机程序产品,包括计算机可执行指令,当所述计算机可执行指令被处理器执行时,执行根据本公开的前述方面提供的任一方法。
[0020] 根据本公开提供的图像处理方法,通过获取与原始图像的各个像素的亮度相关的第一编码值的第一集合,以及使用与所述原始图像对应的第一函数组合将所述第一集合变换为包括第二编码值的第二集合(所述第一函数组合被配置成使得所述第一集合中任何互不相同的两个第一编码值在所述第二集合中的对应的两个第二编码值也互不相同),进而根据所述第二集合确定目标图像,从而可以在图像处理过程中完成不同HDR格式的转换,并且使得所得到的目标图像不存在带状伪影的问题。
[0021] 根据在下文中所描述的实施例,本公开的这些和其他方面将是清楚明白的,并且将参考在下文中所描述的实施例而被阐明。

附图说明

[0022] 在下面结合附图对于示例性实施例的描述中,本公开的技术方案的更多细节、特征和优点被公开,在附图中:
[0023] 图1A示意性示出了根据本公开的一些实施例的一种图像处理方法的示例流程图;
[0024] 图1B示意性示出了图1A中的图像处理方法的示例性原理图;
[0025] 图2A示意性示出了确定第一变换函数和第二变换函数的方法的示例性原理图;
[0026] 图2B示意性示出了HDR格式转换过程中的编码值合并的示例;
[0027] 图3示意性示出了根据本公开的一些实施例的另一种图像处理方法的示例性原理图;
[0028] 图4示意性示出了根据本公开的一些实施例的又一种图像处理方法的示例性原理图;
[0029] 图5示意性示出了根据本公开的一些实施例的又一种图像处理方法的示例性原理图;
[0030] 图6示意性示出了根据本公开的另一些实施例的视频处理方法的示例性原理图;
[0031] 图7示意性示出了根据本公开的一些实施例的用于处理图像的装置的示例框图;
[0032] 图8示意性示出了根据本公开的一些实施例的用于处理视频的装置的示例框图;
[0033] 图9图示了示例系统,其包括代表可以实现本文描述的各种技术的一个或多个系统和/或设备的示例计算设备。

具体实施方式

[0034] 下面将参照附图更详细地描述本公开的若干个实施例以便使得本领域技术人员能够实现本公开的技术方案。本公开的技术方案可以体现为许多不同的形式和目的,并且不应局限于本文所阐述的实施例。提供这些实施例是为了使得本公开的技术方案清楚完整,但所描述的实施例并不限定本公开的保护范围。
[0035] 除非另有定义,本文中使用的所有术语(包括技术术语和科学术语)具有与本公开所属领域的普通技术人员所通常理解的相同含义。将进一步理解的是,诸如那些在通常使用的字典中定义的之类的术语应当被解释为具有与其在相关领域和/或本说明书上下文中的含义相一致的含义,并且将不在理想化或过于正式的意义上进行解释,除非本文中明确地如此定义。
[0036] 在详细介绍本公开的实施例之前,首先对一些相关的概念进行解释。
[0037] 1、电光传递函数(Electro‑Optical Transfer Function, EOTF):是描述电信号(例如,RGB三通道电信号)与线性光信号之间关系的转换函数,EOTF通常被称作伽马曲线。例如,在将对应于标准动态范围(Standard Dynamic Range, SDR)的影像的亮度值用8比特的灰阶的编码值表示的情况下,100 nit以内的亮度范围中的亮度值被量化并映射到0-
255这256个整数值。即,通过基于EOTF进行量化,将100 nit以内的亮度范围的亮度值(对应于SDR的影像的亮度值)变换为作为8比特的编码值的SDR信号。另外,与EOTF概念相反,光电传递函数(Optical‑Electro Transfer Function, OETF)是描述线性光信号与电信号(例如,RGB三通道电信号)之间关系的转换函数。
[0038] 2、高动态范围(High Dynamic Range, HDR)显示技术:是一种提高影像亮度和对比度的处理技术,在对应于HDR的EOTF中,能够表现比对应于SDR的EOTF更高的亮度值。使用HDR显示技术的HDR视频的特点是画面峰值亮度更高(最高峰值亮度可以达到1000 nit以上)、色域更广(采用BT.2020色彩空间)、对比度更高(对比度高达1000000 :1)。常用的HDR格式包括GAMMA、HLG、PQ、HDR10、HDR10+、Dolby_Vision、VIVID HDR等,这些不同的HDR格式对应于不同的电光传递函数。例如,HLG(混合对数伽马)格式对应于混合对数伽马电光传递函数(HLG_EOTF)、PQ(感知量化)格式对应于感知量化电光传递函数(PQ_EOTF)。在影像数据的传播过程中,常常需要根据后级显示设备的能力,对输入视频数据的电光传递函数进行更改,该过程被称为HDR格式转换。
[0039] 图1A示意性示出了根据本公开的一些实施例的一种图像处理方法110的示例流程图。
[0040] 具体地,在步骤111,获取与原始图像的各个像素的亮度相关的第一编码值的第一集合。所述原始图像可以是由摄像机、手机摄像头等任何类型的影像拍摄装置拍摄的图片,也可以是由这些拍摄装置拍摄的视频中的视频帧图像。所述第一编码值可以具有与原始图像的各个像素的亮度相关的电信号的形式。示例性地,在基于PQ的HDR系统中,由摄像机拍摄采集的场景光经过相应的OETF(包括光光传递函数OOTF(Optical‑Optical Transfer Function)和逆EOTF)进行编码得到PQ电信号(即这里的第一编码值),进而经过相应的EOTF进行解码得到光信号以在显示设备上显示,其中,OOTF用于将输入的线性场景光转换为最终用于显示的显示光(光信号);在基于HLG的HDR系统中,由摄像机拍摄采集的场景光经过相应的OETF进行编码得到HLG电信号(即这里的第一编码值),进而经过相应的EOTF(包括逆OETF和OOTF)进行解码得到光信号以在显示设备上显示。
[0041] 如前文所述,不同的HDR格式对应于不同的电光传递函数,而不同的电光传递函数所得到的图像(或视频)可能具有不同的显示效果。例如,混合对数伽马电光传递函数(HLG_EOTF)采用相对亮度体系,其能根据显示端屏幕的亮度能力进行显示,而感知量化电光传递函数(PQ_EOTF)是绝对亮度体系,需要后级显示设备能达到输入源需要的显示能力。PQ_EOTF制作的图像的对比度、峰值亮度等均高于HLG_EOTF制作的图像。当在视频数据传播过程中,后级显示设备的显示能力受限时,可能需要对输入视频数据的电光传递函数进行更改。以前述基于PQ的HDR系统为例,其经过相应的EOTF进行解码得到的、用于在显示设备上进行显示的光信号可能超出后级显示设备的显示能力的范围(例如,显示设备无法正常显示该信号中包含的最高亮度),在这种情况下,可以将PQ电信号转换为HLG电信号,进而使用HLG_EOTF而非PQ_EOTF来基于HLG电信号确定用于在显示设备上进行显示的显示光。
[0042] 另外,所述第一编码值可以根据实际应用的需求采用本领域中常用的各种位深度,包括但不限于8位、10位、以及14位。示例性地,当第一编码值采用14位的位深度时,其取值范围在0‑16383之间;当第一编码值采用10位的位深度时,其取值范围在0‑1023之间;当第一编码值采用8位的位深度时,其取值范围在0‑255之间。所述第一集合中包括的第一编码值的数目取决于原始图像的像素数目,例如,原始图像大小为100*100*3(RGB三通道,100*100*3个像素),则存在与这100*100*3个像素一一对应的100*100*3个第一编码值,因此对应的第一集合包括的元素个数为100*100*3。
[0043] 在步骤112,使用与所述原始图像对应的第一函数组合将所述第一集合变换为包括第二编码值的第二集合,所述第一函数组合包括第一变换函数和第二变换函数,所述第一变换函数用于将所述第一集合中的各第一编码值变换为对应的第一亮度值,所述第二变换函数用于将所述对应的第一亮度值变换为所述第二集合中的第二编码值。其中,所述第一函数组合被配置成使得所述第一集合中任何互不相同的两个第一编码值在所述第二集合中的对应的两个第二编码值也互不相同。步骤112可以用于转换不同的HDR格式。
[0044] 申请人发现,在HDR格式转换过程中(例如将PQ电信号转换为GAMMA2.2电信号的过程),可能导致一部分具有不同编码值的输入信号经过以上转换过程所得到的输出信号具有相同的编码值,即,可能存在两个不同的第一编码值,经过HDR格式转换后,所得到的两个对应的第二编码值相同,在本文中将这一现象称为“编码值合并”。图2B示意性示出了HDR格式转换过程中的编码值合并的示例。如图2B所示,由f2a表示的PQ电光传递函数(PQ_EOTF)将非线性电信号对应的两个第一编码值(237,239)变换为对应的亮度值(76,77)(亮度信号对应的编码值),由f2b表示的HLG电光传递函数(HLG_EOTF)的逆函数(在图2B中示出为Inverse_HLG_EOTF)将这两个亮度值变换为两个第二编码值(168,168),可以看出,两个不同的第一编码值在经过HDR格式转换后得到的两个对应的第二编码值相同,即发生了编码值合并。
[0045] 具体地,以将PQ电信号转换为GAMMA2.2电信号为例,PQ电光传递函数(PQ_EOTF)为:
[0046] 。
[0047] 其中,E'为RGB各通道的归一化电平(即上述第一编码值);所得结果Y为RGB各通道的归一化线性光对应的亮度值(即上述第一亮度值),Y在0到1之间,Y取1.0时指示10000 d/2
m的亮度;m1,m2,c1,c2,c3为PQ_EOTF公式中的常数,它们分别可以通过以下式子计算得到:
[0048] m1 = 2610/16384 = 0.1593;
[0049] m2=2523*128/4096=78.84375;
[0050] c1=3424/4096=0.83;
[0051] c2=2413*32/4096=18.85;
[0052] c3=2392*32/4096=18.68 。
[0053] 显示线性光对应的亮度值通过下式被确定:
[0054] Fd=10000*Y 。
[0055] 示例性地,当使用24位的位深度来表示亮度值Fd时(在此示例中,即为用24位来表示0‑1000nit的亮度范围内的亮度值),可以通过下式对亮度值Fd进行归一化处理:
[0056] Fd'=(2^24)/Fd 。
[0057] 需要说明的是,尽管在上述示例中亮度值Fd采用24位的位深度,但这仅仅是示意性地,亮度值Fd可以采用本领域已知的其他任何适用的位数(例如,32位),在这种情况下,上述对亮度值Fd进行归一化处理的式子也需进行相应的改变。另外,尽管在上文中,以Y作为所述第一亮度值的示例,但是本领域技术人员将理解,将Fd作为所述第一亮度值也是可行的。
[0058] GAMMA2.2对应的电光传递函数由下式表示:
[0059] Y=(E'')^2.2 。
[0060] 即,对于GAMMA2.2这一HDR格式而言,RGB各通道的归一化电平E''(即所述第二编码值)的指数幂所得结果为RGB各通道的归一化线性光对应的亮度值Y(即所述第一亮度值)。在该示例中,用于将第一亮度值Y变换为GAMMA2.2电信号对应的编码值(所述第二编码值)的光电传递函数即为GAMMA2.2对应的上述电光传递函数的逆函数(为简洁起见,下文用GAMMA_OETF表示),如下式所示:
[0061] E''=Y^(1/2.2) 。
[0062] 在本公开中,所述第一函数组合被配置成使得所述第一集合中任何互不相同的两个第一编码值在所述第二集合中的对应的两个第二编码值也互不相同。以上述将PQ电信号转换为GAMMA2.2电信号的过程为例,为实现这一目的,示例性地,假设存在两个不同的第一编码值,经过PQ电信号到GAMMA2.2电信号的HDR格式转换后,所得到的两个对应的第二编码值相同,则可以修改PQ电信号对应的电光传递函数作为所述第一变换函数,使得所得到的两个对应的第二编码值不相同(例如,编码值相差1位、2位或3位),在这种情况下,可以将GAMMA2.2电信号对应的电光传递函数作为所述第二变换函数(即不必对GAMMA2.2电信号对应的电光传递函数进行修改)。替代地,可以修改GAMMA2.2电信号对应的电光传递函数作为所述第二变换函数,使得所得到的两个对应的第二编码值不相同,在这种情况下,可以将PQ电信号对应的电光传递函数作为所述第一变换函数(即不必对PQ电信号对应的电光传递函数进行修改)。替代地,还可以同时修改PQ电信号对应的电光传递函数和GAMMA2.2电信号对应的电光传递函数以确定所述第一变换函数和所述第二变换函数,使得所得到的两个对应的第二编码值不相同。本公开对修改这些电光传递函数的具体方式不作限制,示例性地,可以将PQ电信号对应的电光传递函数(或者GAMMA2.2电信号对应的电光传递函数)修改为分段函数,并通过设置合理的分段函数的参数,使得所得到的两个对应的第二编码值不相同。
[0063] 在实践中,所述第一函数组合中的所述第一变换函数和所述第二变换函数可以借助映射表来实现,映射表用于记录函数(例如,所述第一变换函数和所述第二变换函数)的自变量和因变量(即输入和输出)之间的映射关系,映射表可以存储于存储设备(例如,双倍速率同步动态随机存储器(DDR))中,使得部署有本公开提供的方法的处理器可以直接从该存储设备访问数据以获取所述第一变换函数和所述第二变换函数的计算结果而无需根据这些函数的数学表达式进行大量的计算。在这种情况下,所述第一变换函数和所述第二变换函数可以简单地通过修改相应映射表的方式来实现。示例性地,可以修改PQ电信号对应的电光传递函数的映射表作为所述第一变换函数对应的映射表,在这种情况下,可以将GAMMA2.2电信号对应的电光传递函数的映射表作为所述第二变换函数的映射表(即不必对GAMMA2.2电信号对应的电光传递函数进行修改)。替代地,可以修改GAMMA2.2电信号对应的电光传递函数作为所述第二变换函数,在这种情况下,可以将PQ电信号对应的电光传递函数的映射表作为所述第一变换函数的映射表(即不必对PQ电信号对应的电光传递函数进行修改)。替代地,还可以同时修改PQ电信号对应的电光传递函数的映射表和GAMMA2.2电信号对应的电光传递函数的映射表以分别确定所述第一变换函数的映射表和所述第二变换函数的映射表。通过改变所述第一变换函数对应的映射表和所述第二变换函数对应的映射表中的至少一个,可以使得所得到的两个对应的第二编码值不相同。
[0064] 需要说明的是,尽管上文以PQ电信号转换为GAMMA2.2电信号为例,但本领域技术人员将理解,本公开提供的方法可以应用于任意两种不同的HDR格式的转换。
[0065] 在步骤113,根据所述第二集合确定目标图像,使得所述目标图像的各个像素的亮度与所述第二集合中的第二编码值相关。如上文关于步骤111和步骤112所描述的,所得到的所述第二集合中的第二编码值为HDR电信号(例如,HLG电信号)对应的编码值,因此,根据所述第二集合便可以确定HDR格式的目标图像。示例性地,可以基于所述第二集合中的第二编码值(例如,HLG电信号对应的编码值),经过相应的EOTF(包括逆OETF和OOTF)进行解码得到光信号(即,确定用于在显示设备上进行显示的目标图像的各个像素的亮度值),从而确定用于在显示设备上显示的目标图像。作为另一示例,可以基于所述第二集合中的第二编码值(例如,PQ电信号对应的编码值),经过相应的EOTF进行解码得到光信号(即,确定用于在显示设备上进行显示的目标图像的各个像素的亮度值),从而确定用于在显示设备上显示的目标图像。
[0066] 通过图1A所示的图像处理方法110,在通过对应变换函数实现不同HDR格式的转换的同时,可以消除不同HDR格式的转换过程中的编码值合并的现象,从而使得所得到的目标图像不存在带状伪影的问题。
[0067] 图1B示意性示出了图1A中的图像处理方法110的示例性原理图。如图1B所示,示例1 1 1
性地,从原始图像121获取的第一集合U1包括三个第一编码值(ci ,cj ,ck),这三个编码值分别与原始图像121的三个像素的亮度相关。在图像处理方法110中,使用与原始图像121对应的第一函数组合f1将第一集合U1变换为第二集合U2,第二集合U2包括三个第二编码值
2 2 2
(ci,cj,ck),这三个编码值分别与目标图像122的三个像素的亮度相关。
[0068] 如图1B所示,第一函数组合f1包括第一变换函数f1a和第二变换函数f1b,第一变换函数f1a用于将第一集合U1中的各第一编码值变换为对应的第一亮度值(未示出),第二变换2 2 2
函数f1b用于将所述对应的第一亮度值变换为第二集合U2中的第二编码值(ci ,cj ,ck)。其中,第一函数组合f1被配置成使得第一集合U1中任何互不相同的两个第一编码值在第二集合U2中的对应的两个第二编码值也互不相同。示例性地,假设第一集合U1中的第一编码值
1 1 2 2
ci 和cj 不相同,则它们在第二集合U2中的对应的第二编码值ci 和cj 也不相同。目标图像
122根据第二集合U2被确定,其中目标图像122的各个像素的亮度与第二集合U2中的第二编
2 2 2
码值(ci,cj,ck)相关。
[0069] 需要说明的是,尽管图1B中仅示出了分别与原始图像121的三个像素的亮度相关的三个编码值,但本领域技术人员将理解,原始图像121可以包括更少或更多个像素,相应地,可以有更少或更多个第一编码值、第一亮度值以及第二编码值。
[0070] 图2A示意性示出了确定第一变换函数f1a和第二变换函数f1b的方法的示例性原理图。如图2A所示,第一变换函数f1a和第二变换函数f1b通过以下方法被确定:根据第二函数3 3 3
组合f2确定包括多个第三编码值(ci,cj ,ck)的第三集合U3,其中第二函数组合f2包括输入量化电光传递函数f2a和输出量化电光传递函数f2b;以及根据第三集合U3中的所述多个第三
3 3 3
编码值(ci ,cj,ck)之间的差异,对输入量化电光传递函数f2a和输出量化电光传递函数f2b中的至少一个进行修改,以确定第一函数组合f1;其中,第三集合U3中的任意两个第三编码值互不相同,并且第三集合U3满足以下条件:第三集合U3中互不相同的第三编码值经预设处理所得到的对应编码值相同;并且其中,所述预设处理包括:使用输入量化电光传递函数f2a对第三集合U3中所述互不相同的第三编码值进行解码以确定对应解码值,以及使用输出量化电光传递函数f2b的逆函数对所述对应解码值进行编码以得到对应编码值。
[0071] 输入量化电光传递函数f2a和输出量化电光传递函数f2b可以是对应于不同HDR格式的电光传递函数。示例性地,输入量化电光传递函数f2a可以是对应于PQ电信号的电光传递函数(PQ_EOTF),输出量化电光传递函数f2b可以是对应于HLG电信号的电光传递函数(HLG_EOTF)。如上文所述,HDR格式转换过程中可能存在编码值合并的现象,事实上,在HDR格式转换过程中所涉及的变换函数的形式确定的情况下,可以确定存在编码值合并的编码值的集合,即第三集合U3,其中,第三集合U3中互不相同的第三编码值(例如图2A中示出的3 3 3
ci,cj,ck)经所述预设处理所得到的对应编码值相同。
[0072] 需要说明的是,在本公开中,术语“第三编码值”旨在描述那些经上述预设处理所得到的对应编码值相同的编码值,在相关技术中的输入量化电光传递函数和输出量化电光传递函数确定的情况下,可以确定存在编码值合并现象的编码值(即第三编码值)。而从HDR格式转换的角度看,术语“第三编码值”和术语“第一编码值”都对应于上述输入信号(非线性电信号)。因此,为了避免本领域技术人员对以上二者的混淆,以及为了更好地阐明本公开的原理,本公开将存在编码值合并现象的输入信号对应的编码值称为“第三编码值”。另外,在本公开中,术语“编码值”(包括术语“第一编码值”、“第二编码值”以及“第三编码值”等)一般地指示与图像的像素的亮度相关的编码值。
[0073] 如图2A所示,可以根据第三集合U3中的所述多个第三编码值(ci3,cj3,ck3)之间的差异,对输入量化电光传递函数f2a进行修改(例如,使用上文关于步骤112描述的方法,将其修改为分段函数或者修改其对应的映射表),并且将经修改的输入量化电光传递函数f2a作为第一变换函数f1a,另外,不对输出量化电光传递函数f2b进行修改(即直接将其作为第二变换函数f1b)。替代地,可以使用上文关于步骤112描述的方法对输出量化电光传递函数f2b进行修改,并且将经修改的输出量化电光传递函数f2b作为第二变换函数f1b,而不对输入量化电光传递函数f2a进行修改(即直接将其作为第一变换函数f1a)。替代地,可以使用上文关于步骤112描述的方法对输入量化电光传递函数f2a和输出量化电光传递函数f2b都进行修改,并且分别将经修改的输入量化电光传递函数f2a和输出量化电光传递函数f2b作为第一变换函数f1a和第二变换函数f1b。
[0074] 需要说明的是,在上述各种修改方案中,修改对应电光传递函数的原则是,这些修改能够使得不相同的第三编码值经过所确定的第一函数组合f1的变换,所得到的对应的第二编码值也不相同。在上述各种修改方案中,可以使得所得到的对应的第二编码值之间的3 3 3
差异取决于第三编码值之间的差异。示例性地,第三编码值ci 、cj和ck之间的最大差异为3时,所得到的对应的第二编码值之间的最大差异可以是该最大差异的函数(例如,在这里可以是3的倍数)。替代地,这些修改可以使得所得到的对应的第二编码值之间的差异都是预设的固定值(例如,1)。
[0075] 通过图2A所示的方法,根据存在编码值合并的编码值集合(第三集合U3),对输入量化电光传递函数f2a和输出量化电光传递函数f2b中的至少一个进行修改,以确定第一函数组合,从而在消除HDR格式转换过程中的编码值合并的现象的同时,使得所得到的目标图像不存在带状伪影的问题。
[0076] 图3示意性示出了根据本公开的一些实施例的另一种图像处理方法的示例性原理3 3 3
图。如图3所示,上述根据第三集合U3中的所述多个第三编码值(ci ,cj ,ck)之间的差异,对输入量化电光传递函数f2a和输出量化电光传递函数f2b中的至少一个进行修改,以确定第
3 3 3
一函数组合f1,包括:根据第三集合U3中的所述多个第三编码值(ci ,cj ,ck)之间的差异,确
1 2 N
定多个互不相同的第三函数组合(f3,f3 ,…,f3)(N为大于等于2的正整数),其中每个所述第三函数组合是通过对第二函数组合f2中的输入量化电光传递函数f2a和输出量化电光传递函数f2b中的至少一个进行修改而被确定的;以及将所述多个互不相同的第三函数组合中
1
的一个函数组合(例如,f3)作为与所述原始图像对应的第一函数组合f1。图3所示的图像处理方法的其他步骤与图2A所示的图像处理方法的对应步骤相同,这里不再赘述。
[0077] 示例性地,可以通过修改第二函数组合f2来确定第三函数组合f31,即,修改第二函数组合f2中的输入量化电光传递函数f2a和输出量化电光传递函数f2b中的至少一个,以获得1
经修改的第二函数组合f2,进而将经修改的第二函数组合f2作为第三函数组合f3。其中,对第二函数组合f2中的输入量化电光传递函数f2a和输出量化电光传递函数f2b中的至少一个进行修改的方法可以参考上文关于步骤112描述的方法,将对应的电光传递函数修改为分段函数或者修改其对应的映射表。示例性地,可以通过修改第二函数组合f2中的输入量化
1
电光传递函数f2(a 不修改输出量化电光传递函数f2b)来确定第三函数组合f3 ,通过修改第二函数组合f2中的输出量化电光传递函数f2(b 不修改输入量化电光传递函数f2a)来确定第
2
三函数组合f3 ,通过修改第二函数组合f2中的输入量化电光传递函数f2a和输出量化电光传
3
递函数f2b来确定第三函数组合f3 ……。替代地,可以通过多种方式修改第二函数组合f2中的输出量化电光传递函数f2(b 不修改输入量化电光传递函数f2a)来确定多个互不相同的第
1 2 N
三函数组合(f3,f3,…,f3)。
[0078] 以图2B所示的编码值合并现象为例,通过图3所示出的图像处理方法,对应编码值的分布可以如表1所示:
[0079] 表1 编码值映射关系
[0080] 函数组合 输入信号对应的编码值 第一亮度值 输出信号对应的编码值编码值合并组合 237/239 76/77 168/168
第三函数组合1 237/239 76/78 168/169
第三函数组合2 237/239 75/77 167/168
第三函数组合3 237/239 75/78 167/169
[0081] 如表1所示,第二行示出了图2B中编码值合并的编码值示例,该示例中对输入量化电光传递函数f2a和输出量化电光传递函数f2b均未进行修改,这两个电光传递函数使得存在编码值合并的现象。示例性地,可以将表1中第二行中所示的存在编码值合并现象的编码值237和239作为第三编码值,即在这种情况下所述第三集合可以包括第三编码值237和239,进而根据这些第三编码值之间的差异,以多种方式修改第二函数组合f2中的输入量化电光传递函数f2(a 不修改输出量化电光传递函数f2b),从而确定多个互不相同的第三函数组合(如表1中第三行至第五行所示的第三函数组合1、第三函数组合2以及第三函数组合
3)。这些互不相同的第三函数组合中的任意一个都可以作为与所述原始图像对应的第一函数组合f1,从而实现编码值的变换,例如,表1中第三行所示的从输入信号对应的编码值(237和239)到输出信号对应的编码值(168和169)的变换。特别地,这些互不相同的第三函数组合的数量可以不小于(即,大于或等于)所述第三集合中的所述多个第三编码值之间的差异的最大值,示例性地,当所述第三集合中的所述多个第三编码值之间的差异的最大值为2时,互不相同的第三函数组合的数量可以是2、3或更大的值。
[0082] 示例性地,在原始图像为单个视频帧图像时,如果在显示设备上播放之前需经HDR格式转换(例如,从PQ转为HLG),如果原始图像的亮度相关的编码值在HDR格式转换过程中存在编码值合并的情形(例如,表1中第二行所示情形),则最终在显示设备上显示的目标图像(例如,由图形处理器(Graphics Processing Unit, GPU)向显示设备不断发送相同的目标图像相关的数据以用于显示)会存在带状伪影的问题。在这种情况下,可以按照图像帧的先后顺序交替使用第三函数组合1、第三函数组合2以及第三函数组合3中的任意两种函数组合(例如,交替使用第三函数组合1和第三函数组合2),从而使得观看者能够在视觉上正确识别出编码值237与239之间的差异(即,这种情况下得到的目标图像不存在带状伪影)。
[0083] 图4示意性示出了根据本公开的一些实施例的又一种图像处理方法的示例性原理图。如图4所示,原始图像(例如,图像411)是图像集合(包括图像411、图像412、图像413以及图像414)中的图像,所述图像集合中的各个图像之间具有时序关系(例如,图像411、图像412、图像413以及图像414依次先后在显示设备上显示),其中,所述将所述多个互不相同的
1 2 3 4
第三函数组合(例如,图4所示的第三函数组合f3、f3、f3以及f3)中的一个函数组合作为与所述原始图像对应的所述第一函数组合,包括:根据预设对应关系,将所述多个互不相同的第三函数组合中的一个函数组合作为与所述原始图像对应的所述第一函数组合,所述预设对应关系表征所述多个互不相同的第三函数组合中的函数组合与所述图像集合中的各个
1
图像之间的对应关系。示例性地,如图4所示,第三函数组合f3 与图像411对应,第三函数组
2 3 4
合f3与图像412对应,第三函数组合f3与图像413对应,第三函数组合f3与图像414对应。这些互不相同的第三函数组合有助于使得所显示的图像(即上述目标图像)在视觉上更清楚地显示出原始图像的亮度相关的第一编码值之间的差异。图4所示的图像处理方法的其他步骤与图3所示的图像处理方法的对应步骤相同,这里不再赘述。
[0084] 需要说明的是,图像集合中的各个图像可以是完全相同的图像(即,对应位置的像素相关的第一编码值均相同),也可以是互不相同的图像(即,至少一组对应位置的像素相关的第一编码值不相同),或者其中部分图像相同而部分图像不相同,本公开对此不作限制。相反,本公开对多个互不相同的第三函数组合的设计是基于编码值合并的情况(具体参见上文描述)。
[0085] 图5示意性示出了根据本公开的一些实施例的又一种图像处理方法的示例性原理图。其中,所述预设对应关系通过以下步骤被确定:根据所述时序关系(与图4类似,所述时序关系可以指示图像511、图像512、图像513以及图像514依次先后在显示设备上显示),周期性地将所述多个互不相同的第三函数组合对应到所述图像集合中的各个图像。示例性1 2
地,如图5所示,第三函数组合f3 与图像511、图像513对应,第三函数组合f3与图像512、图
1 2
像514对应,即,第三函数组合f3 和第三函数组合f3 可以被周期性地用于所述图像集合中的各个图像的HDR格式转换。图5所示的图像处理方法的其他步骤与图4所示的图像处理方法的对应步骤相同,这里不再赘述。
[0086] 其中,上述周期即为互不相同的第三函数组合的数量。示例性地,针对特定类型的输入量化电光传递函数f2a和输出量化电光传递函数f2b,如果确定存在编码值合并,则可以根据合并的编码值之间的差异来确定互不相同的第三函数组合的数量,以上文表1所示的发生编码值合并现象的编码值237和239为例,合并的编码值之间的差异为2,则可以将编码值237和239作为第三编码值,进而根据第三编码值237和239之间的差异来修改输入量化电光传递函数f2a和输出量化电光传递函数f2b中的至少一个,以确定两个互不相同的第三函1 2
数组合f3与f3,进而将其周期性地用于所述图像集合中的各个图像的HDR格式转换。
[0087] 特别地,当合并编码值具有不同的合并值时,可以根据合并编码值中的最大编码值差异来确定互不相同的第三函数组合的数量。其中,互不相同的第三函数组合的数量不小于(即,大于或等于)合并编码值中的最大编码值差异。示例性地,针对特定类型的输入量化电光传递函数f2a和输出量化电光传递函数f2b,如果确定存在以下编码值合并:编码值237和239(237和239为合并编码值)经f2a和f2b的处理所得到的编码值为168和168(即合并值为168),而编码值125和129(125和129也为合并编码值)经f2a和f2b的处理所得到的编码值为112和112(即合并值为112),则合并编码值中的最大编码值差异为4(129‑125),在这种情况下,可以将编码值125和129作为第三编码值,进而根据第三编码值125和129之间的差异来修改输入量化电光传递函数f2a和输出量化电光传递函数f2b中的至少一个,以确定与最大编码值差异对应的互不相同的第三函数组合(例如,合并编码值中的最大编码值差异为4时,可以确定至少四个互不相同的第三函数组合),进而将其周期性地用于所述图像集合中的各个图像的HDR格式转换,从而消除所述图像集合中的各个图像在显示过程中出现的带状伪影。
[0088] 通过图5所示的图像处理方法,可以根据合并编码值的编码值差异设计对应的互不相同的第三函数组合,进而周期性地这些第三函数组合用于图像集合中的各个图像的HDR格式转换,从而在消除图像集合显示过程中出现的带状伪影的同时,不需要针对图像集合中的各个图像均设计不同的第三函数组合,简化了HDR格式转换过程中变换函数的设计过程(从计算机实现的角度看,较少的第三函数组合有助于进一步减少所需的存储空间并提高相应程序的运行效率)。
[0089] 图6示意性示出了根据本公开的另一些实施例的视频处理方法的示例性原理图。所述视频处理方法包括:获取原始视频,所述原始视频包括多个视频帧图像;分别将所述多个视频帧图像中的每个视频帧图像作为原始图像,使用上述图像处理方法110对所述原始图像进行处理以得到目标图像,从而得到目标视频。
[0090] 如图6所示,多个视频帧图像包括视频帧图像611、视频帧图像612、视频帧图像613、视频帧图像614,在所述视频处理方法中,与这些视频帧图像一一对应的、用于实现HDR
1 1 2
格式转换的第一函数组合分别包括f1a(第一变换函数)、f1b(第二变换函数)、f1a(第一变
2 3 3 1
换函数)、f1b(第二变换函数)、f1a(第一变换函数)、f1b(第二变换函数)。具体地,包括f1a
1
和f1b的第一函数组合与视频帧图像611对应并且用于对视频帧图像611进行处理以得到目
2 2
标图像621;包括f1a 和f1b的第一函数组合与视频帧图像612对应并且用于对视频帧图像
3 3
612进行处理以得到目标图像622;包括f1a和f1b的第一函数组合与视频帧图像613对应并
1 1
且用于对视频帧图像613进行处理以得到目标图像623;包括f1a和f1b的第一函数组合与视频帧图像614对应并且用于对视频帧图像614进行处理以得到目标图像624。
[0091] 需要说明的是,图6所示的互不相同的第一函数组合可以由对应的第三函数组合确定,示例性地,第一变换函数和第二变换函数可以是基于特定类型的输入量化电光传递函数f2a和输出量化电光传递函数f2b被修改确定的,并且对于特定类型的输入量化电光传递函数f2a和输出量化电光传递函数f2b,存在以下编码值合并:编码值155和158经f2a和f2b的处理所得到的编码值为133和133,则合并编码值中的编码值差异为3(158‑155),在这种情况下,可以将编码值155和158作为第三编码值,进而根据第三编码值155和158之间的差异来修改输入量化电光传递函数f2a和输出量化电光传递函数f2b中的至少一个来确定三个互不相同的第三函数组合,进而将其周期性地用于所述多个视频帧图像中的各个图像的HDR格式转换,即根据这些第三函数组合确定的三个互不相同的第一函数组合被周期性地用于视频帧图像611、视频帧图像612、视频帧图像613、视频帧图像614的HDR格式转换,以分别得到对应的目标图像621、622、623以及624。
[0092] 通过图6所示的视频处理方法,可以针对原始视频的多个视频帧图像中的每个视频帧图像,使用对应的第一函数组合来实现视频帧图像的HDR格式转换,从而使得所得到的目标视频在显示过程中不存在带状伪影的问题。
[0093] 图7示意性示出了根据本公开的一些实施例的用于处理图像的装置(为简洁起见,下文简称为图像处理装置700)的示例框图。如图7所示,图像处理装置700包括数据获取模块710、数据变换模块720以及图像确定模块730。
[0094] 具体地,数据获取模块710可以被配置为:获取与原始图像的各个像素的亮度相关的第一编码值的第一集合;数据变换模块720可以被配置为:使用与所述原始图像对应的第一函数组合将所述第一集合变换为包括第二编码值的第二集合,所述第一函数组合包括第一变换函数和第二变换函数,所述第一变换函数用于将所述第一集合中的各第一编码值变换为对应的第一亮度值,所述第二变换函数用于将所述对应的第一亮度值变换为所述第二集合中的第二编码值;图像确定模块730可以被配置为:根据所述第二集合确定目标图像,使得所述目标图像的各个像素的亮度与所述第二集合中的第二编码值相关;其中,所述第一函数组合被配置成使得所述第一集合中任何互不相同的两个第一编码值在所述第二集合中的对应的两个第二编码值也互不相同。
[0095] 图8示意性示出了根据本公开的一些实施例的用于处理视频的装置(为简洁起见,下文简称为视频处理装置800)的示例框图。如图8所示,视频处理装置800包括视频获取模块810和视频处理模块820。
[0096] 具体地,视频获取模块810可以被配置为:获取原始视频,所述原始视频包括多个视频帧图像;视频处理模块820可以被配置为:分别将所述多个视频帧图像中的每个视频帧图像作为原始图像,使用前述图像处理装置对所述原始图像进行处理以得到目标图像,从而得到目标视频。
[0097] 应理解,图像处理装置700和视频处理装置800均可以以软件、硬件或软硬件相结合的方式实现。另外,图像处理装置700和视频处理装置800中的多个不同模块均可以在同一软件或硬件结构中实现,或者一个模块可以由多个不同的软件或硬件结构实现。
[0098] 此外,图像处理装置700可以用于实施前文所描述的图像处理方法110,视频处理装置800可以用于实施前文所描述的视频处理方法,其相关细节均已经在前文中详细描述,为简洁起见,在此不再重复。图像处理装置700、视频处理装置800分别可以具有与关于前述图像处理方法110和视频处理方法描述的相同的特征和优势。
[0099] 图9图示了示例系统,其包括代表可以实现本文描述的各种技术的一个或多个系统和/或设备的示例计算设备900。计算设备900可以是例如服务提供商的服务器、与服务器相关联的设备、片上系统、和/或任何其他合适的计算设备或计算系统。上述图像处理装置700和视频处理装置800中的任意一种或多种装置可以采取计算设备900的形式。替换地,图像处理装置700和视频处理装置800中的任意一种或多种装置可以以应用916的形式被实现为计算机程序。
[0100] 如图9所示的示例计算设备900包括彼此通信耦合的处理系统911、一个或多个计算机可读介质912以及一个或多个I/O接口913。尽管未示出,但是计算设备900还可以包括系统总线或其他数据和命令传送系统,其将各种组件彼此耦合。系统总线可以包括不同总线结构的任何一个或组合,所述总线结构诸如存储器总线或存储器控制器、外围总线、通用串行总线、和/或利用各种总线架构中的任何一种的处理器或局部总线。还构思了各种其他示例,诸如控制和数据线。
[0101] 处理系统911代表使用硬件执行一个或多个操作的功能。因此,处理系统911被图示为包括可被配置为处理器、功能块等的硬件元件914。这可以包括在硬件中实现为专用集成电路或使用一个或多个半导体形成的其他逻辑器件。硬件元件914不受其形成的材料或其中采用的处理机构的限制。例如,处理器可以由(多个)半导体和/或晶体管(例如,电子集成电路(IC))组成。在这样的上下文中,处理器可执行指令可以是电子可执行指令。
[0102] 计算机可读介质912被图示为包括存储器/存储装置915。存储器/存储装置915表示与一个或多个计算机可读介质相关联的存储器/存储容量。存储器/存储装置915可以包括易失性介质(诸如随机存取存储器(RAM))和/或非易失性介质(诸如只读存储器(ROM)、闪存、光盘、磁盘等)。存储器/存储装置915可以包括固定介质(例如,RAM、ROM、固定硬盘驱动器等)以及可移动介质(例如,闪存、可移动硬盘驱动器、光盘等)。计算机可读介质912可以以下面进一步描述的各种其他方式进行配置。
[0103] 一个或多个I/O接口913代表允许用户使用各种输入设备向计算设备900输入命令和信息并且可选地还允许使用各种输出设备将信息呈现给用户和/或其他组件或设备的功能。输入设备的示例包括键盘、光标控制设备(例如,鼠标)、麦克风(例如,用于语音输入)、扫描仪、触摸功能(例如,被配置为检测物理触摸的容性或其他传感器)、相机(例如,可以采用可见或不可见的波长(诸如红外频率)将不涉及触摸的运动检测为手势)等等。输出设备的示例包括显示设备(例如,显示器或投影仪)、扬声器、打印机、网卡、触觉响应设备等。因此,计算设备900可以以下面进一步描述的各种方式进行配置以支持用户交互。
[0104] 计算设备900还包括应用916。应用916可以例如是图像处理装置700和视频处理装置800中的任意一种或多种装置的软件实例,并且与计算设备900中的其他元件相组合地实现本文描述的技术。
[0105] 本文可以在软件硬件元件或程序模块的一般上下文中描述各种技术。一般地,这些模块包括执行特定任务或实现特定抽象数据类型的例程、程序、元素、组件、数据结构等。本文所使用的术语“模块”,“功能”和“组件”一般表示软件、固件、硬件或其组合。本文描述的技术的特征是与平台无关的,意味着这些技术可以在具有各种处理器的各种计算平台上实现。
[0106] 所描述的模块和技术的实现可以存储在某种形式的计算机可读介质上或者跨某种形式的计算机可读介质传输。计算机可读介质可以包括可由计算设备900访问的各种介质。作为示例而非限制,计算机可读介质可以包括“计算机可读存储介质”和“计算机可读信号介质”。
[0107] 与单纯的信号传输、载波或信号本身相反,“计算机可读存储介质”是指能够持久存储信息的介质和/或设备,和/或有形的存储装置。因此,计算机可读存储介质是指非信号承载介质。计算机可读存储介质包括诸如易失性和非易失性、可移动和不可移动介质和/或以适用于存储信息(诸如计算机可读指令、数据结构、程序模块、逻辑元件/电路或其他数据)的方法或技术实现的存储设备之类的硬件。计算机可读存储介质的示例可以包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD‑ROM、数字通用盘(DVD)或其他光学存储装置、硬盘、盒式磁带、磁带,磁盘存储装置或其他磁存储设备,或其他存储设备、有形介质或适于存储期望信息并可以由计算机访问的制品。
[0108] “计算机可读信号介质”是指被配置为诸如经由网络将指令发送到计算设备900的硬件的信号承载介质。信号介质典型地可以将计算机可读指令、数据结构、程序模块或其他数据体现在诸如载波、数据信号或其他传输机制的调制数据信号中。信号介质还包括任何信息传递介质。术语“调制数据信号”是指这样的信号,该信号的特征中的一个或多个被设置或改变,从而将信息编码到该信号中。作为示例而非限制,通信介质包括诸如有线网络或直接连线的有线介质以及诸如声、RF、红外和其他无线介质的无线介质。
[0109] 如前所述,硬件元件914和计算机可读介质912代表以硬件形式实现的指令、模块、可编程器件逻辑和/或固定器件逻辑,其在一些实施例中可以用于实现本文描述的技术的至少一些方面。硬件元件可以包括集成电路或片上系统、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、复杂可编程逻辑器件(CPLD)以及硅中的其他实现或其他硬件设备的组件。在这种上下文中,硬件元件可以作为执行由硬件元件所体现的指令、模块和/或逻辑所定义的程序任务的处理设备,以及用于存储用于执行的指令的硬件设备,例如,先前描述的计算机可读存储介质。
[0110] 前述的组合也可以用于实现本文所述的各种技术和模块。因此,可以将软件、硬件或程序模块和其他程序模块实现为在某种形式的计算机可读存储介质上和/或由一个或多个硬件元件914体现的一个或多个指令和/或逻辑。计算设备900可以被配置为实现与软件和/或硬件模块相对应的特定指令和/或功能。因此,例如通过使用处理系统的计算机可读存储介质和/或硬件元件914,可以至少部分地以硬件来实现将模块实现为可由计算设备900作为软件执行的模块。指令和/或功能可以由一个或多个制品(例如,一个或多个计算设备900和/或处理系统911)可执行/可操作以实现本文所述的技术、模块和示例。
[0111] 在各种实施方式中,计算设备900可以采用各种不同的配置。例如,计算设备900可以被实现为包括个人计算机、台式计算机、多屏幕计算机、膝上型计算机、上网本等的计算机类设备。计算设备900还可以被实现为包括诸如移动电话、便携式音乐播放器、便携式游戏设备、平板计算机、多屏幕计算机等移动设备的移动装置类设备。计算设备900还可以实现为电视类设备,其包括具有或连接到休闲观看环境中的一般地较大屏幕的设备。这些设备包括电视、机顶盒、游戏机等。
[0112] 本文描述的技术可以由计算设备900的这些各种配置来支持,并且不限于本文所描述的技术的具体示例。功能还可以通过使用分布式系统、诸如通过如下所述的平台922而在“云”920上全部或部分地实现。
[0113] 云920包括和/或代表用于资源924的平台922。平台922抽象云920的硬件(例如,服务器)和软件资源的底层功能。资源924可以包括在远离计算设备900的服务器上执行计算机处理时可以使用的应用和/或数据。资源924还可以包括通过因特网和/或通过诸如蜂窝或Wi‑Fi网络的订户网络提供的服务。
[0114] 平台922可以抽象资源和功能以将计算设备900与其他计算设备连接。平台922还可以用于抽象资源的分级以提供遇到的对于经由平台922实现的资源924的需求的相应水平的分级。因此,在互连设备实施例中,本文描述的功能的实现可以分布在整个系统1600内。例如,功能可以部分地在计算设备900上以及通过抽象云920的功能的平台922来实现。
[0115] 应当理解,为清楚起见,参考不同的功能单元对本公开的实施例进行了描述。然而,将明显的是,在不偏离本公开的情况下,每个功能单元的功能性可以被实施在单个单元中、实施在多个单元中或作为其他功能单元的一部分被实施。例如,被说明成由单个单元执行的功能性可以由多个不同的单元来执行。因此,对特定功能单元的参考仅被视为对用于提供所描述的功能性的适当单元的参考,而不是表明严格的逻辑或物理结构或组织。因此,本公开可以被实施在单个单元中,或者可以在物理上和功能上被分布在不同的单元和电路之间。
[0116] 将理解的是,尽管第一、第二、第三等术语在本文中可以用来描述各种设备、元件、部件或部分,但是这些设备、元件、部件或部分不应当由这些术语限制。这些术语仅用来将一个设备、元件、部件或部分与另一个设备、元件、部件或部分相区分。
[0117] 尽管已经结合一些实施例描述了本公开,但是其不旨在被限于在本文中所阐述的特定形式。相反,本公开的范围仅由所附权利要求来限制。附加地,尽管单独的特征可以被包括在不同的权利要求中,但是这些可以可能地被有利地组合,并且包括在不同权利要求中不暗示特征的组合不是可行的和/或有利的。特征在权利要求中的次序不暗示特征必须以其工作的任何特定次序。此外,在权利要求中,词“包括”不排除其他元件,并且术语“一”或“一个”不排除多个。权利要求中的附图标记仅作为明确的例子被提供,不应该被解释为以任何方式限制权利要求的范围。
[0118] 应当理解,为清楚起见,参考不同的功能单元对本公开的实施例进行了描述。然而,将明显的是,在不偏离本公开的情况下,每个功能单元的功能性可以被实施在单个单元中、实施在多个单元中或作为其他功能单元的一部分被实施。例如,被说明成由单个单元执行的功能性可以由多个不同的单元来执行。因此,对特定功能单元的参考仅被视为对用于提供所描述的功能性的适当单元的参考,而不是表明严格的逻辑或物理结构或组织。因此,本公开可以被实施在单个单元中,或者可以在物理上和功能上被分布在不同的单元和电路之间。
[0119] 本公开提供了一种计算机可读存储介质,其上存储有计算机可读指令,计算机可读指令在被执行时实现上述的图像处理方法和视频处理方法。
[0120] 本公开提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算设备执行上述各种可选实现方式中提供的图像处理方法和视频处理方法。
[0121] 通过研究附图、公开内容和所附的权利要求书,本领域技术人员在实践所要求保护的主题时,能够理解和实现对于所公开的实施例的变型。在权利要求书中,词语“包括”不排除其他元件或步骤,并且“一”或“一个”不排除多个。在相互不同的从属权利要求中记载某些措施的纯粹事实并不指示这些措施的组合不能被有利地使用。