基于增强图像的图像处理方法、装置和计算机设备转让专利

申请号 : CN202211049178.6

文献号 : CN115115554B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 李浩张欢荣孙磊

申请人 : 腾讯科技(深圳)有限公司

摘要 :

本申请涉及一种基于增强图像的图像处理方法、装置、计算机设备和存储介质。所述方法包括:获取源图像和增强图像各自在同种图像属性下的属性表征图;对源图像和增强图像各自的属性表征图进行比对,获得源图像和增强图像在至少一部分像素位置处的属性差异;基于至少一部分像素位置处的属性差异和增强图像的属性表征图,生成源图像中至少一部分像素位置处各自的局部融合权重;确定增强图像中至少一部分像素位置处各自的增强融合权重;生成融合图像;融合图像中至少一部分像素位置处的像素值,是按相应像素位置处的局部融合权重和增强融合权重,对源图像和增强图像各自在相应像素位置处的像素值加权融合获得的。采用本方法能够提升增强效果。

权利要求 :

1.一种基于增强图像的图像处理方法,其特征在于,所述方法包括:

获取源图像和增强图像各自在同种图像属性下的属性表征图;所述增强图像是对所述源图像进行增强处理获得的;

对所述源图像和所述增强图像各自的属性表征图进行比对,获得所述源图像和所述增强图像在至少一部分像素位置处的属性差异;

基于所述至少一部分像素位置处的属性差异和所述增强图像的属性表征图,生成所述源图像中所述至少一部分像素位置处各自的局部融合权重;

确定所述增强图像中所述至少一部分像素位置处各自的增强融合权重,且相同像素位置处的局部融合权重和增强融合权重负相关;

生成所述源图像和所述增强图像的融合图像;所述融合图像中所述至少一部分像素位置处的像素值,是按相应像素位置处的局部融合权重和增强融合权重,对所述源图像和所述增强图像各自在相应像素位置处的像素值加权融合获得的。

2.根据权利要求1所述的方法,其特征在于,所述对所述源图像和所述增强图像各自的属性表征图进行比对,获得所述源图像和所述增强图像在至少一部分像素位置处的属性差异包括:将所述源图像和所述增强图像各自的属性表征图每个像素位置处的属性值分别进行比对,获得不同的所述属性表征图在每个像素位置处的差分属性值;

基于每个像素位置处的差分属性值生成差分属性表征图;所述差分属性表征图中至少一部分像素位置处的属性值,表征所述源图像和所述增强图像在所述至少一部分像素位置处的属性差异。

3.根据权利要求2所述的方法,其特征在于,所述基于每个像素位置处的差分属性值生成差分属性表征图,包括:将每个像素位置处的差分属性值分别映射到属性值范围内,获得每个像素位置处的属性差异;

基于所述每个像素位置处的属性差异生成差分属性表征图,所述差分属性表征图中每个像素位置处的属性值为相应像素位置处的属性差异。

4.根据权利要求3所述的方法,其特征在于,所述将每个像素位置处的差分属性值分别映射到属性值范围内,获得每个像素位置处的属性差异,包括:将低于差分属性阈值的所述差分属性值,统一映射为属性值范围的下限值,获得相应像素位置处的属性差异;

将不低于所述差分属性阈值的所述差分属性值,以正相关映射方式映射到所述属性值范围内,获得相应像素位置处的属性差异。

5.根据权利要求1至4任一项所述的方法,其特征在于,所述至少一部分像素位置处包括形成标定区域的部分像素位置,所述增强图像的属性表征图中所述标定区域中的属性值符合所述同种图像属性下的标定区域识别条件;所述融合图像中在非所述标定区域中的像素位置处的像素值,等于所述增强图像中相应像素位置处的像素值。

6.根据权利要求5所述的方法,其特征在于,所述标定区域识别条件包括:所述增强图像的属性表征图中所述标定区域中的像素位置构成连通域,且所述增强图像的属性表征图中所述连通域中像素位置处的属性值属于与所述同种图像属性相应的标定属性值范围。

7.根据权利要求5所述的方法,其特征在于,所述源图像中非所述标定区域的像素位置处各自的局部融合权重为零;所述增强图像中非所述标定区域的像素位置处各自的增强融合权重,是根据所述源图像中相应像素位置处的局部融合权重确定的;所述生成所述源图像和所述增强图像的融合图像,包括:针对所述源图像和所述增强图像的每个像素位置,分别按照相应像素位置处的局部融合权重和增强融合权重,对所述源图像和所述增强图像各自在相应像素位置处的像素值加权融合,获得融合图像。

8.根据权利要求5所述的方法,其特征在于,所述生成所述源图像和所述增强图像的融合图像,包括:在所述标定区域中的每个像素位置处,按照相应的局部融合权重和增强融合权重,将所述源图像和所述增强图像各自的相应像素值进行加权融合,形成融合图像中相应像素位置处的像素值;

将所述增强图像在非所述标定区域的每个像素位置处的像素值,分别作为所述融合图像中相应像素位置处的像素值。

9.根据权利要求1至4任一项所述的方法,其特征在于,所述基于所述至少一部分像素位置处的属性差异和所述增强图像的属性表征图,生成所述源图像中所述至少一部分像素位置处各自的局部融合权重包括:对所述增强图像的属性表征图进行边缘保持的滤波处理,获得所述增强图像的平滑属性表征图;

基于所述至少一部分像素位置处的属性差异和所述平滑属性表征图中所述至少一部分像素位置处的属性值,生成所述源图像中所述至少一部分像素位置处各自的局部融合权重。

10.根据权利要求9所述的方法,其特征在于,所述基于所述至少一部分像素位置处的属性差异和所述平滑属性表征图中所述至少一部分像素位置处的属性值,生成所述源图像中所述至少一部分像素位置处各自的局部融合权重包括:针对所述至少一部分像素位置处中每一个像素位置处,将所述像素位置处的属性差异和所述平滑属性表征图中所述像素位置处的属性值进行融合,生成所述像素位置处的局部融合权重。

11.根据权利要求10所述的方法,其特征在于,所述将所述像素位置处的属性差异和所述平滑属性表征图中所述像素位置处的属性值进行融合,生成所述像素位置处的局部融合权重包括:获取所述同种图像属性相应的变化度拉伸系数和属性拉伸系数;

基于所述变化度拉伸系数对所述像素位置处的属性差异进行权重调整,获得属性差异权重;

基于所述属性拉伸系数对所述平滑属性表征图中所述像素位置处的属性值进行权重调整,获得属性值权重;

对所述属性差异权重和所述属性值权重进行融合,生成所述像素位置处的局部融合权重。

12.根据权利要求1至4任一项所述的方法,其特征在于,所述至少一部分像素位置处的属性差异包括所述至少一部分像素位置处的至少两种图像属性的属性差异,所述增强图像的属性表征图包括所述增强图像的所述至少两种图像属性的属性表征图;

所述基于所述至少一部分像素位置处的属性差异和所述增强图像的属性表征图,生成所述源图像中所述至少一部分像素位置处各自的局部融合权重包括:分别基于所述至少一部分像素位置处的所述至少两种图像属性的属性差异和所述增强图像的所述至少两种图像属性的属性表征图,生成所述至少一部分像素位置处各自在至少两种所述图像属性下相应的属性融合权重;

针对所述至少一部分像素位置处中每一个像素位置处,对相应的至少两种图像属性的属性融合权重进行融合,生成所述像素位置处的局部融合权重。

13.一种基于增强图像的图像处理装置,其特征在于,所述装置包括:

表征图获取模块,用于获取源图像和增强图像各自在同种图像属性下的属性表征图;

所述增强图像是对所述源图像进行增强处理获得的;

表征图比对模块,用于对所述源图像和所述增强图像各自的属性表征图进行比对,获得所述源图像和所述增强图像在至少一部分像素位置处的属性差异;

局部融合权重生成模块,用于基于所述至少一部分像素位置处的属性差异和所述增强图像的属性表征图,生成所述源图像中所述至少一部分像素位置处各自的局部融合权重;

增强融合权重生成模块,用于确定所述增强图像中所述至少一部分像素位置处各自的增强融合权重,且相同像素位置处的局部融合权重和增强融合权重负相关;

融合图像生成模块,用于生成所述源图像和所述增强图像的融合图像;所述融合图像中所述至少一部分像素位置处的像素值,是按相应像素位置处的局部融合权重和增强融合权重,对所述源图像和所述增强图像各自在相应像素位置处的像素值加权融合获得的。

14.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至12中任一项所述的方法的步骤。

15.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至12中任一项所述的方法的步骤。

说明书 :

基于增强图像的图像处理方法、装置和计算机设备

技术领域

[0001] 本申请涉及图像处理技术领域,特别是涉及一种基于增强图像的图像处理方法、装置、计算机设备、存储介质和计算机程序产品。

背景技术

[0002] 随着图像处理技术的发展,出现了增强后处理技术。增强后处理技术用于图像的进一步增强,是对图像增强的补充,以使得最终增强效果更佳。其中,图像增强是指对源图像从亮度、色调、对比度、清晰度等一个或多个图像属性维度进行提升,使得处理后的输出图像在画质上得到增强。
[0003] 传统技术中,在进行增强后处理时,会基于设计的融合系数对源图像和增强图像进行全局融合,得到融合图像,即增强后处理图像。
[0004] 然而,传统方法,存在增强效果差的问题。

发明内容

[0005] 基于此,有必要针对上述技术问题,提供一种能够提升增强效果的基于增强图像的图像处理方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
[0006] 第一方面,本申请提供了一种基于增强图像的图像处理方法。所述方法包括:
[0007] 获取源图像和增强图像各自在同种图像属性下的属性表征图;增强图像是对源图像进行增强处理获得的;
[0008] 对源图像和增强图像各自的属性表征图进行比对,获得源图像和增强图像在至少一部分像素位置处的属性差异;
[0009] 基于至少一部分像素位置处的属性差异和增强图像的属性表征图,生成源图像中至少一部分像素位置处各自的局部融合权重;
[0010] 确定增强图像中至少一部分像素位置处各自的增强融合权重,且相同像素位置处的局部融合权重和增强融合权重负相关;
[0011] 生成源图像和增强图像的融合图像;融合图像中至少一部分像素位置处的像素值,是按相应像素位置处的局部融合权重和增强融合权重,对源图像和增强图像各自在相应像素位置处的像素值加权融合获得的。
[0012] 第二方面,本申请还提供了一种基于增强图像的图像处理装置。所述装置包括:
[0013] 表征图获取模块,用于获取源图像和增强图像各自在同种图像属性下的属性表征图;增强图像是对源图像进行增强处理获得的;
[0014] 表征图比对模块,用于对源图像和增强图像各自的属性表征图进行比对,获得源图像和增强图像在至少一部分像素位置处的属性差异;
[0015] 局部融合权重生成模块,用于基于至少一部分像素位置处的属性差异和增强图像的属性表征图,生成源图像中至少一部分像素位置处各自的局部融合权重;
[0016] 增强融合权重生成模块,用于确定增强图像中至少一部分像素位置处各自的增强融合权重,且相同像素位置处的局部融合权重和增强融合权重负相关;
[0017] 融合图像生成模块,用于生成源图像和增强图像的融合图像;融合图像中至少一部分像素位置处的像素值,是按相应像素位置处的局部融合权重和增强融合权重,对源图像和增强图像各自在相应像素位置处的像素值加权融合获得的。
[0018] 第三方面,本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
[0019] 获取源图像和增强图像各自在同种图像属性下的属性表征图;增强图像是对源图像进行增强处理获得的;
[0020] 对源图像和增强图像各自的属性表征图进行比对,获得源图像和增强图像在至少一部分像素位置处的属性差异;
[0021] 基于至少一部分像素位置处的属性差异和增强图像的属性表征图,生成源图像中至少一部分像素位置处各自的局部融合权重;
[0022] 确定增强图像中至少一部分像素位置处各自的增强融合权重,且相同像素位置处的局部融合权重和增强融合权重负相关;
[0023] 生成源图像和增强图像的融合图像;融合图像中至少一部分像素位置处的像素值,是按相应像素位置处的局部融合权重和增强融合权重,对源图像和增强图像各自在相应像素位置处的像素值加权融合获得的。
[0024] 第四方面,本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
[0025] 获取源图像和增强图像各自在同种图像属性下的属性表征图;增强图像是对源图像进行增强处理获得的;
[0026] 对源图像和增强图像各自的属性表征图进行比对,获得源图像和增强图像在至少一部分像素位置处的属性差异;
[0027] 基于至少一部分像素位置处的属性差异和增强图像的属性表征图,生成源图像中至少一部分像素位置处各自的局部融合权重;
[0028] 确定增强图像中至少一部分像素位置处各自的增强融合权重,且相同像素位置处的局部融合权重和增强融合权重负相关;
[0029] 生成源图像和增强图像的融合图像;融合图像中至少一部分像素位置处的像素值,是按相应像素位置处的局部融合权重和增强融合权重,对源图像和增强图像各自在相应像素位置处的像素值加权融合获得的。
[0030] 第五方面,本申请还提供了一种计算机程序产品。所述计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现以下步骤:
[0031] 获取源图像和增强图像各自在同种图像属性下的属性表征图;增强图像是对源图像进行增强处理获得的;
[0032] 对源图像和增强图像各自的属性表征图进行比对,获得源图像和增强图像在至少一部分像素位置处的属性差异;
[0033] 基于至少一部分像素位置处的属性差异和增强图像的属性表征图,生成源图像中至少一部分像素位置处各自的局部融合权重;
[0034] 确定增强图像中至少一部分像素位置处各自的增强融合权重,且相同像素位置处的局部融合权重和增强融合权重负相关;
[0035] 生成源图像和增强图像的融合图像;融合图像中至少一部分像素位置处的像素值,是按相应像素位置处的局部融合权重和增强融合权重,对源图像和增强图像各自在相应像素位置处的像素值加权融合获得的。
[0036] 上述基于增强图像的图像处理方法、装置、计算机设备、存储介质和计算机程序产品,通过获取源图像和增强图像各自在同种图像属性下的属性表征图,对源图像和增强图像各自的属性表征图进行比对,能够关注源图像到增强图像的属性变化趋势,获得源图像和增强图像在至少一部分像素位置处的属性差异,进而可以基于至少一部分像素位置处的属性差异和增强图像的属性表征图,进行自适应的融合权重计算,生成源图像中至少一部分像素位置处各自的局部融合权重,从而可以确定增强图像中至少一部分像素位置处各自的增强融合权重,生成源图像和增强图像的融合图像,融合图像中至少一部分像素位置处的像素值,是按相应像素位置处的局部融合权重和增强融合权重,对源图像和增强图像各自在相应像素位置处的像素值加权融合获得的,整个过程,通过关注源图像到增强图像的属性变化趋势来生成局部融合权重,采用逐像素的局部融合权重来实现图像融合,能够提升增强效果。

附图说明

[0037] 图1为一个实施例中基于增强图像的图像处理方法的应用环境图;
[0038] 图2为另一个实施例中基于增强图像的图像处理方法的应用环境图;
[0039] 图3为一个实施例中基于增强图像的图像处理方法的流程示意图;
[0040] 图4为一个实施例中将各自的属性表征图中像素位置处的属性值进行比对的示意图;
[0041] 图5为另一个实施例中将各自的属性表征图中像素位置处的属性值进行比对的示意图;
[0042] 图6为一个实施例中,融合图像中像素位置处的像素值生成的示意图;
[0043] 图7为一个实施例中局部融合权重生成的示意图;
[0044] 图8为另一个实施例中基于增强图像的图像处理方法的流程示意图;
[0045] 图9为又一个实施例中基于增强图像的图像处理方法的流程示意图;
[0046] 图10为一个实施例中基于增强图像的图像处理的应用场景图;
[0047] 图11为再一个实施例中基于增强图像的图像处理方法的流程示意图;
[0048] 图12为一个实施例中基于增强图像的图像处理的效果对比图;
[0049] 图13为另一个实施例中基于增强图像的图像处理的效果对比图;
[0050] 图14为一个实施例中基于增强图像的图像处理装置的结构框图;
[0051] 图15为一个实施例中计算机设备的内部结构图;
[0052] 图16为一个实施例中计算机设备的内部结构图。

具体实施方式

[0053] 为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
[0054] 本申请实施例提供的基于增强图像的图像处理方法,可以应用于如图1所示的应用环境中。终端102获取源图像和增强图像各自在同种图像属性下的属性表征图,增强图像是对源图像进行增强处理获得的,对源图像和增强图像各自的属性表征图进行比对,获得源图像和增强图像在至少一部分像素位置处的属性差异,基于至少一部分像素位置处的属性差异和增强图像的属性表征图,生成源图像中至少一部分像素位置处各自的局部融合权重,确定增强图像中至少一部分像素位置处各自的增强融合权重,且相同像素位置处的局部融合权重和增强融合权重负相关,生成源图像和增强图像的融合图像,融合图像中至少一部分像素位置处的像素值,是按相应像素位置处的局部融合权重和增强融合权重,对源图像和增强图像各自在相应像素位置处的像素值加权融合获得的。其中,终端102可以但不限于是各种台式计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备,物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。
[0055] 本申请实施例提供的基于增强图像的图像处理方法,可以应用于如图2所示的应用环境中。其中,终端202通过网络与服务器204进行通信。数据存储系统可以存储服务器204需要处理的数据。数据存储系统可以集成在服务器204上,也可以放在云上或其他服务器上。终端202存储有源图像和增强图像,服务器204从终端202获取源图像和增强图像,获取源图像和增强图像各自在同种图像属性下的属性表征图,增强图像是对源图像进行增强处理获得的,对源图像和增强图像各自的属性表征图进行比对,获得源图像和增强图像在至少一部分像素位置处的属性差异,基于至少一部分像素位置处的属性差异和增强图像的属性表征图,生成源图像中至少一部分像素位置处各自的局部融合权重,确定增强图像中至少一部分像素位置处各自的增强融合权重,且相同像素位置处的局部融合权重和增强融合权重负相关,生成源图像和增强图像的融合图像,融合图像中至少一部分像素位置处的像素值,是按相应像素位置处的局部融合权重和增强融合权重,对源图像和增强图像各自在相应像素位置处的像素值加权融合获得的。其中,终端202可以但不限于是各种台式计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备,物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。服务器204可以用独立的服务器或者是多个服务器组成的服务器集群或云服务器来实现,也可以为区块链上的节点。
[0056] 在一个实施例中,如图3所示,提供了一种基于增强图像的图像处理方法,该方法可以由终端或服务器单独执行,也可以由终端和服务器协同执行。在本申请实施例中,以该方法应用于终端为例进行说明,包括以下步骤:
[0057] 步骤302,获取源图像和增强图像各自在同种图像属性下的属性表征图,增强图像是对源图像进行增强处理获得的。
[0058] 其中,源图像是指尚未进行增强处理的原始图像。比如,源图像具体可以是指电子设备所采集的图像。举例说明,源图像具体可以是指相机、扫描仪等所采集的图像。又比如,源图像具体可以是指视频数据中的未进行增强处理的原始视频帧。增强图像是指对源图像进行增强处理获得的图像,即对源图像从亮度、色调、对比度、清晰度等一个或多个图像属性维度进行提升,获得的图像。
[0059] 其中,图像属性是指图像固有的特性。比如,图像属性具体可以是指亮度。亮度是指图像色彩的明暗程度,是人眼对物体明暗强度的感觉。又比如,图像属性具体可以是指色调。色调是指图像的相对明暗程度,在彩色图像上表现为颜色。再比如,图像属性具体可以是指对比度。对比度指的是一幅图像中明暗区域最亮的白和最暗的黑之间不同亮度层级的测量,差异范围越大代表对比越大,差异范围越小代表对比越小。
[0060] 其中,属性表征图是指能够表征图像属性的图像。比如,当图像属性为亮度,属性表征图是指能够表征亮度的图像。举例说明,属性表征图具体可以为表征亮度的灰度图。又举例说明,属性表征图具体可以为表征亮度的HSV(Hue, Saturation, Value,色调,饱和度、明度)颜色模型中的V通道图像。再举例说明,属性表征图具体可以为LAB颜色模型中的L通道图像。LAB颜色模型中L表示亮度,A和B是两个颜色通道。A包括的颜色是从深绿色(低亮度值)到灰色(中亮度值)再到亮粉红色(高亮度值),B是从亮蓝色(低亮度值)到灰色(中亮度值)再到黄色(高亮度值)。
[0061] 比如,当图像属性为色调,属性表征图是指能够表征色调的图像。举例说明,属性表征图具体可以为HSV颜色模型中的H通道图像。又举例说明,属性表征图具体可以为组合LAB颜色模型中A通道和B通道所得到的图像。比如,当图像属性为对比度,属性表征图是指能够表征对比度的图像。举例说明,表征对比度的图像中每个像素位置处的属性值,可以通过计算每个像素位置处的像素值与平均像素值的差值得到。又举例说明,每个像素位置处的属性值,还可以为每个像素位置处的局部邻域内最大像素值和最小像素值的差值。其中,局部邻域的大小可按照实际应用场景进行配置。
[0062] 具体的,终端会基于所关注的图像属性,获取源图像和增强图像各自在同种图像属性下的属性表征图。在具体的应用中,所关注的图像属性可按照实际应用场景进行配置。比如,所关注的图像属性具体可以为亮度、色调、对比度中的至少一种。
[0063] 在具体的应用中,当所关注的图像属性为亮度,终端会获取源图像和增强图像各自在亮度下的属性表征图,该属性表征图具体可以为灰度图,也可以为HSV颜色模型中的V通道图像,还可以为LAB颜色模型中的L通道图像,本实施例在此处不对表征亮度的属性表征图进行限定。
[0064] 在一个具体的应用中,属性表征图为灰度图,终端可以通过分别对源图像和增强图像进行灰度变换,获得源图像和增强图像各自的灰度图。其中,灰度变换是指根据某种目标条件按一定变换关系逐点改变源图像中每一个像素灰度值的方法,目的是为了改善画质,使图像的显示效果更加清晰,本实施例中此处不对灰度变换的方式进行限定,只要能够实现灰度变换即可,可以为线性变换,也可以为非线性变换。
[0065] 在一个具体的应用中,属性表征图为HSV颜色模型中的V通道图像,终端可以通过分别将源图像和增强图像转换为HSV格式,获得源图像和增强图像各自的V通道图像。在一个具体的应用中,属性表征图为LAB颜色模型中的L通道图像,终端可以通过分别将源图像和增强图像转换为LAB格式,获得源图像和增强图像各自的L通道图像。
[0066] 步骤304,对源图像和增强图像各自的属性表征图进行比对,获得源图像和增强图像在至少一部分像素位置处的属性差异。
[0067] 其中,属性差异用于描述源图像和增强图像在像素位置处的属性差别程度。比如,当属性表征图为表征亮度的灰度图,属性差异描述的是源图像和增强图像在像素位置处的灰度值差别程度。又比如,当属性表征图为表征对比度的图像,属性差异描述的是源图像和增强图像在像素位置处的对比度差别程度。
[0068] 具体的,终端会将源图像和增强图像各自的属性表征图每个像素位置处的属性值分别进行比对,通过将源图像和增强图像各自的属性表征图每个像素位置处的属性值分别进行比对,可以提取每个像素位置处的属性值之间的差异,获得不同的属性表征图在每个像素位置处的差分属性值,进而可以基于每个像素位置处的差分属性值,获得源图像和增强图像在至少一部分像素位置处的属性差异。
[0069] 在具体的应用中,在将源图像和增强图像各自的属性表征图每个像素位置处的属性值分别进行比对时,终端可以通过将各自的属性表征图像素位置处的属性值分别相减的方式进行比对,获得不同的属性表征图在像素位置处的差分属性值。在一个具体的应用中,如图4所示,可以通过将增强图像的属性表征图中像素位置处属性值B减去源图像的属性表征图中像素位置处属性值A的方式进行比对,获得像素位置处的差分属性值。
[0070] 在具体的应用中,终端也可以通过将各自的属性表征图像素位置处的属性值分别相除的方式进行比对,获得不同的属性表征图在像素位置处的差分属性值。在一个具体的应用中,如图5所示,可以通过将增强图像的属性表征图中像素位置处属性值B除去源图像的属性表征图中像素位置处属性值A的方式进行比对,获得像素位置处的差分属性值。
[0071] 步骤306,基于至少一部分像素位置处的属性差异和增强图像的属性表征图,生成源图像中至少一部分像素位置处各自的局部融合权重。
[0072] 其中,权重是指某一因素或指标相对于某一事物的重要程度,本实施例中,局部融合权重是指源图像中像素位置处的像素值相对于像素值加权融合的重要程度,即局部融合权重为源图像中像素位置处的像素值在像素值加权融合时的权重。
[0073] 具体的,终端会基于至少一部分像素位置处的属性值和增强图像的属性表征图中至少一部分像素位置处的属性值,生成源图像中至少一部分像素位置处各自的局部融合权重,即针对至少一部分像素位置处中每一个像素位置处,终端会根据像素位置处的属性差异和增强图像的属性表征图中像素位置处的属性值,生成像素位置处的局部融合权重。
[0074] 在具体的应用中,终端会将像素位置处的属性差异和增强图像的属性表征图中像素位置处的属性值进行融合,生成像素位置处的局部融合权重。在一个具体的应用中,在对像素位置处的属性差异和像素位置处的属性值进行融合时,终端会先分别对像素位置处的属性差异和像素位置处的属性值进行权重调整,以提高或降低属性差值和属性值的重要程度,再对权重调整后的属性差异和属性值进行融合,生成像素位置处的局部融合权重。
[0075] 在一个具体的应用中,终端可以通过预配置的拉伸系数来对像素位置处的属性差异和像素位置处的属性值进行权重调整,该预配置的拉伸系数可以按照实际应用场景进行配置,本实施例在此处不做具体限定。
[0076] 步骤308,确定增强图像中至少一部分像素位置处各自的增强融合权重,且相同像素位置处的局部融合权重和增强融合权重负相关。
[0077] 其中,增强融合权重是指增强图像中像素位置处的像素值相对于像素值加权融合的重要程度,即增强融合权重为增强图像中像素位置处的像素值在像素值加权融合时的权重。
[0078] 具体的,终端会根据源图像中至少一部分像素位置处各自的局部融合权重,分别确定增强图像中相同像素位置处的增强融合权重,相同像素位置处的局部融合权重和增强融合权重负相关。
[0079] 在具体的应用中,每个像素位置处的局部融合权重和增强融合权重的总和是预配置的,通过用预配置的总和减去源图像中像素位置处的局部融合权重,就可以得到增强图像中相同像素位置处的增强融合权重。举例说明,预配置的总和可以为1,则用1减去源图像中像素位置处的局部融合权重,就可以得到增强图像中相同像素位置处的增强融合权重。
[0080] 步骤310,生成源图像和增强图像的融合图像,融合图像中至少一部分像素位置处的像素值,是按相应像素位置处的局部融合权重和增强融合权重,对源图像和增强图像各自在相应像素位置处的像素值加权融合获得的。
[0081] 其中,融合图像是指融合源图像和增强图像所得到的图像。
[0082] 具体的,终端会生成源图像和增强图像的融合图像,融合图像中至少一部分像素位置处的像素值,是按相应像素位置处的局部融合权重和增强融合权重,对源图像和增强图像各自在相应像素位置处的像素值加权融合获得的,即针对至少一部分像素位置处中每一个像素位置处,都采用了独有的融合值,通过这种方式能够实现更灵活的图像融合。
[0083] 在具体的应用中,针对至少一部分像素位置处中每一个像素位置处,融合图像中像素位置处的像素值为局部融合权重和源图像在相应像素位置处的像素值的乘积以及增强融合权重和增强图像在相应像素位置处的像素值的乘积之和,即融合图像中像素位置处的像素值=局部融合权重*源图像在相应像素位置处的像素值+增强融合权重*增强图像在相应像素位置处的像素值。在一个具体的应用中,如图6所示,融合图像中像素位置处的像素值C=局部融合权重A2*源图像在相应像素位置处的像素值A1+增强融合权重B2*增强图像在相应像素位置处的像素值B1。
[0084] 上述基于增强图像的图像处理方法,通过获取源图像和增强图像各自在同种图像属性下的属性表征图,对源图像和增强图像各自的属性表征图进行比对,能够关注源图像到增强图像的属性变化趋势,获得源图像和增强图像在至少一部分像素位置处的属性差异,进而可以基于至少一部分像素位置处的属性差异和增强图像的属性表征图,进行自适应的融合权重计算,生成源图像中至少一部分像素位置处各自的局部融合权重,从而可以确定增强图像中至少一部分像素位置处各自的增强融合权重,生成源图像和增强图像的融合图像,融合图像中至少一部分像素位置处的像素值,是按相应像素位置处的局部融合权重和增强融合权重,对源图像和增强图像各自在相应像素位置处的像素值加权融合获得的,整个过程,通过关注源图像到增强图像的属性变化趋势来生成局部融合权重,采用逐像素的局部融合权重来实现图像融合,能够提升增强效果。
[0085] 在一个实施例中,对源图像和增强图像各自的属性表征图进行比对,获得源图像和增强图像在至少一部分像素位置处的属性差异包括:
[0086] 将源图像和增强图像各自的属性表征图每个像素位置处的属性值分别进行比对,获得不同的属性表征图在每个像素位置处的差分属性值;
[0087] 基于每个像素位置处的差分属性值生成差分属性表征图,差分属性表征图中至少一部分像素位置处的属性值,表征源图像和增强图像在至少一部分像素位置处的属性差异。
[0088] 其中,差分属性值是指不同的属性表征图在每个像素位置处的属性值的差异。比如,差分属性值具体可以是指不同的属性表征图在每个像素位置处的属性值的差值。又比如,差分属性值具体可以是指不同的属性表征图在每个像素位置处的属性值的比值。再比如,差分属性值具体可以是指不同的属性表征图在每个像素位置处的属性值的差值的绝对值。举例说明,当属性表征图为灰度图,差分属性值具体可以是指不同的灰度图在每个像素位置处的灰度值的差异,该差异可以是灰度值的差值,也可以是灰度值的比值。
[0089] 具体的,终端会将源图像和增强图像各自的属性表征图每个像素位置处的属性值分别进行比对,通过将源图像和增强图像各自的属性表征图每个像素位置处的属性值分别进行比对,可以提取每个像素位置处的属性值之间的差异,获得不同的属性表征图在每个像素位置处的差分属性值,进而可以基于每个像素位置处的差分属性值分析源图像和增强图像在每个像素位置处的属性差别程度,生成差分属性表征图。其中,差分属性表征图中至少一部分像素位置处的属性值,表征源图像和增强图像在至少一部分像素位置处的属性差异。
[0090] 在具体的应用中,终端可以通过将各自的属性表征图每个像素位置处的属性值分别相减的方式进行比对,获得不同的属性表征图在每个像素位置处的差分属性值。在一个具体的应用中,针对每个像素位置处,终端会将增强图像的属性表征图中像素位置处的属性值减去源图像的属性表征图中像素位置处的属性值,获得不同的属性表征图在像素位置处的差分属性值。
[0091] 在一个具体的应用中,在通过将各自的属性表征图每个像素位置处的属性值分别相减的方式进行比对时,当图像属性为亮度或对比度,所获得的差分属性值为属性值的差值。当图像属性为色调,所获得的差分属性值为属性值的差值的绝对值,该属性值的差值的绝对值可以描述像素位置处的色调之间的偏离程度。
[0092] 在具体的应用中,终端可以通过将各自的属性表征图每个像素位置处的属性值分别相除的方式进行比对,获得不同的属性表征图在每个像素位置处的差分属性值。在一个具体的应用中,针对每个像素位置处,终端会将增强图像的属性表征图中像素位置处的属性值除去源图像的属性表征图中像素位置处的属性值,获得不同的属性表征图在像素位置处的差分属性值。
[0093] 本实施例中,通过将源图像和增强图像各自的属性表征图每个像素位置处的属性值分别进行比对,可以提取每个像素位置处的属性值之间的差异,获得不同的属性表征图在每个像素位置处的差分属性值,进而可以基于每个像素位置处的差分属性值分析源图像和增强图像在每个像素位置处的属性差别程度,生成差分属性表征图。
[0094] 在一个实施例中,基于每个像素位置处的差分属性值生成差分属性表征图,包括:
[0095] 将每个像素位置处的差分属性值分别映射到属性值范围内,获得每个像素位置处的属性差异;
[0096] 基于每个像素位置处的属性差异生成差分属性表征图,差分属性表征图中每个像素位置处的属性值为相应像素位置处的属性差异。
[0097] 其中,属性值范围是指预配置的用于对差分属性值进行标准化处理的范围。属性值范围可按照实际应用场景进行配置。举例说明,属性值范围具体可以为0到1。
[0098] 具体的,每个像素位置处的差分属性值可能处于不同的数量级,为了消除不同的数量级对局部融合权重生成的影响,终端会将每个像素位置处的差分属性值分别映射到属性值范围内,以使得每个像素位置处的差分属性值处于同一数量级,获得每个像素位置处的属性差异,从而可以基于每个像素位置处的属性差异生成差分属性表征图,差分属性表征图中每个像素位置处的属性值为相应像素位置处的属性差异。
[0099] 在具体的应用中,终端会先将每个像素位置处的差分属性值减去噪声阈值,以排除掉无用的波动噪声,再将减去噪声阈值后的差分属性值分别映射到属性值范围内,获得每个像素位置处的属性差异。
[0100] 在一个实施例中,将每个像素位置处的差分属性值分别映射到属性值范围内,获得每个像素位置处的属性差异,包括:
[0101] 将低于差分属性阈值的差分属性值,统一映射为属性值范围的下限值,获得相应像素位置处的属性差异;
[0102] 将不低于差分属性阈值的差分属性值,以正相关映射方式映射到属性值范围内,获得相应像素位置处的属性差异。
[0103] 其中,差分属性阈值可按照实际应用场景进行配置。比如,差分属性阈值可以按照图像属性和属性值比对方式进行配置,针对不同的图像属性和属性值比对方式的组合,可以配置不同的差分属性阈值。举例说明,当图像属性为亮度且属性值比对方式为属性值相减时,差分属性阈值可以为0。又举例说明,当图像属性为对比度且属性值比对方式为属性值相减时,差分属性阈值可以为0。再举例说明,当图像属性为色调且属性值比对方式为属性值相减时,差分属性阈值可以为大于0的一个极小值,该极小值可按照实际应用场景进行配置。属性值范围的下限值可按照实际应用场景进行配置。比如,属性值范围的下限值可以为0。
[0104] 具体的,终端会分别比对差分属性阈值和每个像素位置处的差分属性值,将低于差分属性阈值的差分属性值,统一映射为属性值范围的下限值,获得相应像素位置处的属性差异,将不低于差分属性阈值的差分属性值,以正相关映射方式映射到属性值范围内,获得相应像素位置处的属性差异。
[0105] 在具体的应用中,在将不低于差分属性阈值的差分属性值,以正相关映射方式映射到属性值范围内时,终端可以将每个像素位置处的差分属性值中最大差分属性值映射为属性值范围的上限值,通过分别将每个像素位置处的差分属性值除以最大差分属性值的方式,获得每个像素位置处的属性差异。其中,属性值范围的上限值可按照实际应用场景进行配置。
[0106] 在具体的应用中,在将不低于差分属性阈值的差分属性值,以正相关映射方式映射到属性值范围内时,终端也可以利用Sigmoid函数、Softmax函数等归一化函数进行正相关映射。其中,Sigmoid函数是一个在生物学中常见的S型函数,也称为S型生长曲线,在信息科学中,由于其单增以及反函数单增等性质,Sigmoid函数常被用作神经网络的激活函数,将变量映射到0到1之间。Softmax函数又称归一化指数函数,它是二分类函数Sigmoid在多分类上的推广,目的是将多分类的结果以概率的形式展现出来。
[0107] 本实施例中,通过将低于差分属性阈值的差分属性值,统一映射为属性值范围的下限值,并将不低于差分属性阈值的差分属性值,以正相关映射方式映射到属性值范围内,能够实现对每个像素位置处的差分属性值的映射,消除不同的数量级对局部融合权重生成的影响,获得每个像素位置处的属性差异。
[0108] 在一个实施例中,至少一部分像素位置处包括形成标定区域的部分像素位置,增强图像的属性表征图中标定区域中的属性值符合同种图像属性下的标定区域识别条件,融合图像中在非标定区域中的像素位置处的像素值,等于增强图像中相应像素位置处的像素值。
[0109] 其中,标定区域是指基于所关注的图像属性标定的特定区域。比如,当图像属性为亮度,标定区域具体可以是指基于亮度标定的偏亮的区域。又比如,当图像属性为色调,标定区域具体可以是指基于特定颜色标定的包含特定颜色的区域。举例说明,特定颜色可以为黄色,则标定区域具体可以是指包含黄色的区域。标定区域识别条件可按照实际应用场景进行配置,针对不同的图像属性,其相应的标定区域识别条件可以不同。
[0110] 具体的,至少一部分像素位置处包括形成标定区域的部分像素位置,终端会基于同种图像属性下的标定区域识别条件对增强图像的属性表征图进行标定区域识别,获得增强图像的属性表征图中符合同种图像属性下的标定区域识别条件的标定区域。
[0111] 在具体的应用中,标定区域一般是指增强效果变差的区域,而对应的非标定区域一般是指增强效果较好的区域,因此针对增强效果较好的非标定区域,在对源图像和增强图像进行图像融合时,终端可以直接将融合图像中在非标定区域中的像素位置处的像素值确定为增强图像中相应像素位置处的像素值,即融合图像中在非标定区域中的像素位置处的像素值,等于增强图像中相应像素位置处的像素值。
[0112] 本实施例中,能够通过同种图像属性下的标定区域识别条件实现对增强图像的属性表征图中标定区域的确定,从而可以在确定标定区域的基础上,实现对融合图像中在非标定区域中的像素位置处的像素值的确定。
[0113] 在一个实施例中,标定区域识别条件包括:增强图像的属性表征图中标定区域中的像素位置构成连通域,且增强图像的属性表征图中连通域中像素位置处的属性值属于与同种图像属性相应的标定属性值范围。
[0114] 其中,标定属性值范围可按照实际应用场景进行配置,不同图像属性所对应的标定属性值范围不同。比如,当图像属性为亮度,所对应的标定属性值范围可以为大于0,表示所要识别的标定区域为较亮的区域。又比如,当图像属性为亮度,所对应的标定属性值范围可以为小于0,表示所要识别的标定区域为较暗的区域。再比如,当图像属性为色调,所对应的标定属性值范围可以为某种特定颜色对应的属性值范围,举例说明,所对应的标定属性值范围可以为黄色对应的属性值范围。
[0115] 具体的,终端会基于同种图像属性下的标定区域识别条件对增强图像的属性表征图进行标定区域识别,获得增强图像的属性表征图中符合同种图像属性下的标定区域识别条件的标定区域,其中,标定区域识别条件包括:增强图像的属性表征图中标定区域中的像素位置构成连通域,且增强图像的属性表征图中连通域中像素位置处的属性值属于与同种图像属性相应的标定属性值范围。
[0116] 在具体的应用中,在进行标定区域识别时,终端会对增强图像的属性表征图进行边缘保持的滤波处理,以保留大轮廓的同时去除纹理细节,比对滤波后的属性表征图中每个像素位置处的属性值和标定属性值范围,以获得滤波后的属性表征图中符合同种图像属性下的标定区域识别条件的标定区域。其中,由于在进行标定区域识别时,终端进行了边缘保持的滤波处理,以保留大轮廓的同时去除纹理细节,所以增强图像的属性表征图中标定区域中的像素位置可以构成连通域。
[0117] 本实施例中,通过限定标定区域识别条件,能够利用标定区域识别条件实现对增强图像的属性表征图的标定区域识别,获得增强图像的属性表征图中标定区域。
[0118] 在一个实施例中,源图像中非标定区域的像素位置处各自的局部融合权重为零,增强图像中非标定区域的像素位置处各自的增强融合权重,是根据源图像中相应像素位置处的局部融合权重确定的,生成源图像和增强图像的融合图像,包括:
[0119] 针对源图像和增强图像的每个像素位置,分别按照相应像素位置处的局部融合权重和增强融合权重,对源图像和增强图像各自在相应像素位置处的像素值加权融合,获得融合图像。
[0120] 具体的,源图像中非标定区域的像素位置处各自的局部融合权重为零,终端会根据源图像中非标定区域的像素位置处各自的局部融合权重,确定增强图像中非标定区域的像素位置处各自的增强融合权重,针对源图像和增强图像的每个像素位置,分别按照相应像素位置处的局部融合权重和增强融合权重,对源图像和增强图像各自在相应像素位置处的像素值加权融合,获得融合图像。
[0121] 在具体的应用中,非标定区域的每个像素位置处的局部融合权重和增强融合权重的总和是预配置的,通过用预配置的总和减去源图像中像素位置处的局部融合权重,就可以得到增强图像中相同像素位置处的增强融合权重。举例说明,预配置的总和可以为1,则用1减去源图像中像素位置处的局部融合权重(具体为0),就可以得到增强图像中相同像素位置处的增强融合权重(具体为1)。
[0122] 在具体的应用中,融合图像中像素位置处的像素值为局部融合权重和源图像在相应像素位置处的像素值的乘积以及增强融合权重和增强图像在相应像素位置处的像素值的乘积之和,即融合图像中像素位置处的像素值=局部融合权重*源图像在相应像素位置处的像素值+增强融合权重*增强图像在相应像素位置处的像素值。本实施例中,由于源图像中非标定区域的像素位置处各自的局部融合权重为零,则针对融合图像中相应像素位置处,其像素值等于增强融合权重与增强图像在相应像素位置处的像素值的乘积。
[0123] 本实施例中,源图像中非标定区域的像素位置处各自的局部融合权重为零,基于此可确定增强图像中非标定区域的像素位置处各自的增强融合权重,利用非标定区域的像素位置处各自的局部融合权重和增强融合权重进行图像融合,能够使得融合图像中相应像素位置处的像素值更接近增强图像中相应像素位置处的像素值,能够达到良好的增强效果。
[0124] 在一个实施例中,生成源图像和增强图像的融合图像,包括:
[0125] 在标定区域中的每个像素位置处,按照相应的局部融合权重和增强融合权重,将源图像和增强图像各自的相应像素值进行加权融合,形成融合图像中相应像素位置处的像素值;
[0126] 将增强图像在非标定区域的每个像素位置处的像素值,分别作为融合图像中相应像素位置处的像素值。
[0127] 具体的,在生成源图像和增强图像的融合图像时,在标定区域中的每个像素位置处,终端会按照相应的局部融合权重和增强融合权重,将源图像和增强图像各自的相应像素值进行加权融合,形成融合图像中相应像素位置处的像素值,针对非标定区域,终端会将增强图像在非标定区域的每个像素位置处的像素值,分别作为融合图像中相应像素位置处的像素值。
[0128] 在具体的应用中,针对标定区域中每个像素位置处,融合图像中相应像素位置处的像素值为局部融合权重和源图像在像素位置处的像素值的乘积以及增强融合权重和增强图像在像素位置处的像素值的乘积之和,即融合图像中像素位置处的像素值=局部融合权重*源图像在相应像素位置处的像素值+增强融合权重*增强图像在相应像素位置处的像素值。
[0129] 在一个具体的应用中,在标定区域中的像素位置处,终端会按照相应的局部融合权重和增强融合权重,将源图像和增强图像各自的相应像素值进行加权融合,形成融合图像中相应像素位置处的像素值,针对非标定区域中的像素位置处,终端会将增强图像在非标定区域的像素位置处的像素值,作为融合图像中相应像素位置处的像素值。
[0130] 本实施例中,通过在标定区域的每个像素位置处进行图像融合,能够利用源图像对增强图像中标定区域进行补强,使得融合图像中相应像素位置处的像素值更接近源图像中相应像素位置处的像素值,提升增强效果,通过将增强图像在非标定区域的每个像素位置处的像素值,分别作为融合图像中相应像素位置处的像素值,能够使得融合图像中相应像素位置处的像素值更接近增强图像中相应像素位置处的像素值,能够达到良好的增强效果。
[0131] 在一个实施例中,基于至少一部分像素位置处的属性差异和增强图像的属性表征图,生成源图像中至少一部分像素位置处各自的局部融合权重包括:
[0132] 对增强图像的属性表征图进行边缘保持的滤波处理,获得增强图像的平滑属性表征图;
[0133] 基于至少一部分像素位置处的属性差异和平滑属性表征图中至少一部分像素位置处的属性值,生成源图像中至少一部分像素位置处各自的局部融合权重。
[0134] 其中,边缘保持的滤波处理是指通过滤波保留边缘轮廓的同时去除属性表征图内的纹理细节。
[0135] 具体的,终端会对增强图像的属性表征图进行边缘保持的滤波处理,获得增强图像的平滑属性表征图,再基于至少一部分像素位置处的属性差异和平滑属性表征图中至少一部分像素位置处的属性值,生成源图像中至少一部分像素位置处各自的局部融合权重。其中,可以通过导向滤波、双边滤波、形态学的开闭操作等进行边缘保持的滤波处理,本实施例中在此处不对进行边缘保持的滤波方式进行限定,只要能够实现边缘保持的滤波即可。
[0136] 在具体的应用中,终端会通过导向滤波对增强图像的属性表征图进行边缘保持的滤波处理。导向滤波显式地利用导向图计算输出图像,其中导向图可以是输入图像本身或者其他图像,导向滤波比起双边滤波来说在边界附近效果较好,另外,它还具有 O(N) 的线性时间的速度优势。在一个具体的应用中,导向图采用输入图像本身,即将增强图像的属性表征图作为导向滤波中的导向图。
[0137] 在具体的应用中,终端会通过双边滤波对增强图像的属性表征图进行边缘保持的滤波处理。双边滤波是一种非线性的滤波方法,是结合图像的空间邻近度和像素值相似度的一种折中处理,同时考虑空域信息和灰度相似性,达到保边去噪的目的。具有简单、非迭代、局部的特点。
[0138] 在具体的应用中,终端会通过形态学的开闭操作对增强图像的属性表征图进行边缘保持的滤波处理。其中,形态学的开运算操作的定义是先对图像进行腐蚀操作,然后再对图像进行膨胀操作。它先对图像进行腐蚀,消除图像中的噪声和较小的连通域,之后通过膨胀运算弥补较大的连通域中因腐蚀造成的面积减小。形态学的闭运算则刚好相反,先对图像进行膨胀操作,再对图像进行腐蚀操作。它先对图像进行膨胀以填充连通域内的小型空洞,扩大连通域的边界,连接邻近的两个连通域,之后通过腐蚀运算减少由膨胀运算引起的连通域边界的扩大及面积的增加。
[0139] 在一个具体的应用中,在通过形态学的开闭操作对增强图像的属性表征图进行边缘保持的滤波处理时,终端会先对增强图像的属性表征图进行开运算操作,再对增强图像的属性表征图进行闭运算操作,获得增强图像的平滑属性表征图。
[0140] 本实施例中,通过对增强图像的属性表征图进行边缘保持的滤波处理,能够保留边缘的同时去除纹理细节,实现对属性表征图的图像平滑处理,获得增强图像的平滑属性表征图,进而可以基于至少一部分像素位置处的属性差异和平滑属性表征图中至少一部分像素位置处的属性值,生成源图像中至少一部分像素位置处各自的局部融合权重。
[0141] 在一个实施例中,基于至少一部分像素位置处的属性差异和平滑属性表征图中至少一部分像素位置处的属性值,生成源图像中至少一部分像素位置处各自的局部融合权重包括:
[0142] 针对至少一部分像素位置处中每一个像素位置处,将像素位置处的属性差异和平滑属性表征图中像素位置处的属性值进行融合,生成像素位置处的局部融合权重。
[0143] 具体的,针对至少一部分像素位置处中每一个像素位置处,终端会将像素位置处的属性差异和平滑属性表征图中像素位置处的属性值进行融合,生成像素位置处的局部融合权重。
[0144] 在具体的应用中,在进行融合时,终端会先分别对像素位置处的属性差异和平滑属性表征图中像素位置处的属性值进行权重调整,以提高或降低属性差值和属性值的重要程度,再对权重调整后的属性差异和属性值进行融合,生成像素位置处的局部融合权重。本实施例中不对权重调整的方式进行具体限定,只要能够实现权重调整,以提高或降低属性差值和属性值的重要程度即可。
[0145] 在一个具体的应用中,对权重调整后的属性差异和属性值进行融合的方式为将权重调整后的属性差异和属性值相乘,以权重调整后的属性差异和属性值的乘积作为像素位置处的局部融合权重。
[0146] 本实施例中,通过针对至少一部分像素位置处中每一个像素位置处,将像素位置处的属性差异和平滑属性表征图中像素位置处的属性值进行融合,能够在综合考虑属性差异和属性值的情况下,生成更合适的像素位置处的局部融合权重,从而可以利用更合适的局部融合权重来实现图像融合,能够提升增强效果。
[0147] 在一个实施例中,将像素位置处的属性差异和平滑属性表征图中像素位置处的属性值进行融合,生成像素位置处的局部融合权重包括:
[0148] 获取同种图像属性相应的变化度拉伸系数和属性拉伸系数;
[0149] 基于变化度拉伸系数对像素位置处的属性差异进行权重调整,获得属性差异权重;
[0150] 基于属性拉伸系数对平滑属性表征图中像素位置处的属性值进行权重调整,获得属性值权重;
[0151] 对属性差异权重和属性值权重进行融合,生成像素位置处的局部融合权重。
[0152] 其中,变化度拉伸系数是指用于对属性差异进行拉伸,以提高或降低属性差异的重要程度的系数。属性拉伸系数是指用于对属性值进行拉伸,以提高或降低属性值的重要程度的系数。比如,属性拉伸系数具体可以为亮度拉伸系数。又比如,属性拉伸系数具体可以为对比度拉伸系数。
[0153] 具体的,终端会获取同种图像属性相应的变化度拉伸系数和属性拉伸系数,基于变化度拉伸系数对像素位置处的属性差异进行权重调整,获得属性差异权重,基于属性拉伸系数对平滑属性表征图中像素位置处的属性值进行权重调整,获得属性值权重,对属性差异权重和属性值权重进行融合,生成像素位置处的局部融合权重。在具体的应用中,对属性差异权重和属性值权重进行融合的方式为将属性差异权重和属性值权重相乘,以属性差异权重和属性值权重的乘积作为像素位置处的局部融合权重。在具体的应用中,对属性差异权重和属性值权重进行融合的方式为将属性差异权重和属性值权重相加,以属性差异权重和属性值权重的和作为像素位置处的局部融合权重。其中,变化度拉伸系数和属性拉伸系数可按照实际应用场景进行配置,本实施例在此处不做具体限定。
[0154] 在具体的应用中,终端可以使用幂函数、指数函数、对数函数等对属性差异和属性值进行权重调整,本实施例在此处不限定进行权重调整的方式,只要能够实现权重调整即可。在一个具体的应用中,终端可以使用幂函数对属性差异和属性值进行权重调整,即以属性差异为底数,以变化度拉伸系数为幂,对属性差异进行权重调整,获得属性差异权重,以属性值为底数,以属性拉伸系数为幂,对属性值进行权重调整,获得属性值权重。举例说明,属性差异权重具体可以表示为 ,其中 为属性差异, 为变化度拉伸系数。属性值权重具体可以表示为 ,其中,为属性值, 为属性拉伸系数。
[0155] 在一个具体的应用中,如图7所示,终端可以以像素位置处的属性差异 为底数,以变化度拉伸系数 为幂,对属性差异进行权重调整,获得像素位置处的属性差异权重 ,以像素位置处的属性值 为底数,以属性拉伸系数 为幂,对属性值进行权重调整,获得像素位置处的属性值权重 ,再将属性差异权重和属性值权重相乘,得到像素位置处的局部融合权重为 。
[0156] 本实施例中,通过基于变化度拉伸系数对像素位置处的属性差异进行权重调整,能够调整属性差异的重要程度,获得属性差异权重,基于属性拉伸系数对平滑属性表征图中像素位置处的属性值进行权重调整,能够调整属性值的重要程度,获得属性值权重,进而可以通过对属性差异权重和属性值权重进行融合,综合考虑属性差异权重和属性值权重,生成像素位置处的局部融合权重。
[0157] 在一个实施例中,至少一部分像素位置处的属性差异包括至少一部分像素位置处的至少两种图像属性的属性差异,增强图像的属性表征图包括增强图像的至少两种图像属性的属性表征图;
[0158] 基于至少一部分像素位置处的属性差异和增强图像的属性表征图,生成源图像中至少一部分像素位置处各自的局部融合权重包括:
[0159] 分别基于至少一部分像素位置处的至少两种图像属性的属性差异和增强图像的至少两种图像属性的属性表征图,生成至少一部分像素位置处各自在至少两种图像属性下相应的属性融合权重;
[0160] 针对至少一部分像素位置处中每一个像素位置处,对相应的至少两种图像属性的属性融合权重进行融合,生成像素位置处的局部融合权重。
[0161] 具体的,至少一部分像素位置处的属性差异包括至少一部分像素位置处的至少两种图像属性的属性差异,增强图像的属性表征图包括增强图像的至少两种图像属性的属性表征图,终端会分别基于至少一部分像素位置处的至少两种图像属性的属性差异和增强图像的至少两种图像属性的属性表征图,生成至少一部分像素位置处各自在至少两种图像属性下相应的属性融合权重,即针对至少两种图像属性中每一种图像属性,终端会基于至少一部分像素位置处的图像属性的属性差异和增强图像的同种图像属性的属性表征图,生成至少一部分像素位置处在同种图像属性下相应的属性融合权重。
[0162] 在具体的应用中,终端会对增强图像的同种图像属性的属性表征图进行边缘保持的滤波处理,获得增强图像的同种图像属性的平滑属性表征图,针对至少一部分像素位置处中每一个像素位置处,将像素位置处的图像属性的属性差异和同种图像属性的平滑属性表征图中像素位置处的属性值进行融合,生成像素位置处在同种图像属性下的属性融合权重。
[0163] 在一个具体的应用中,进行融合的方式可以为,终端获取同种图像属性相应的变化度拉伸系数和属性拉伸系数,基于变化度拉伸系数对像素位置处的图像属性的属性差异进行权重调整,并基于属性拉伸系数对同种图像属性的平滑属性表征图中像素位置处的属性值进行调整,对调整后的属性差异和调整后的属性值进行融合。在一个具体的应用中,对调整后的属性差异和调整后的属性值进行融合的方式可以为将调整后的属性差异和调整后的属性值相乘。
[0164] 具体的,针对至少一部分像素位置处中每一个像素位置处,终端会对相应的至少两种图像属性的属性融合权重进行融合,生成像素位置处的局部融合权重。在具体的应用中,终端会通过叠加相应的至少两种图像属性的属性融合权重的方式进行融合,生成像素位置处的局部融合权重,即像素位置处的局部融合权重等于至少两种图像属性的属性融合权重的和。
[0165] 本实施例中,能够在分别考虑至少两种图像属性中每种图像属性的属性差异和属性表征图的情况下,实现对每种图像属性的优化分析,生成至少一部分像素位置处各自在至少两种图像属性下相应的属性融合权重,通过针对至少一部分像素位置处中每一个像素位置处,对相应的至少两种图像属性的属性融合权重进行融合,能够在综合考虑每种图像属性的属性融合权重的情况下,生成更合适的像素位置处的局部融合权重,从而可以利用更合适的局部融合权重来实现图像融合,能够提升增强效果。
[0166] 在一个实施例中,如图8所示,通过一个流程示意图来说明本申请的基于增强图像的图像处理方法,该方法可以由终端或服务器单独执行,也可以由终端和服务器协同执行。在本申请实施例中,以该方法应用于终端为例进行说明,包括以下步骤:
[0167] 步骤802,获取源图像和增强图像各自在同种图像属性下的属性表征图;增强图像是对源图像进行增强处理获得的;
[0168] 步骤804,将源图像和增强图像各自的属性表征图每个像素位置处的属性值分别进行比对,获得不同的属性表征图在每个像素位置处的差分属性值;
[0169] 步骤806,将低于差分属性阈值的差分属性值,统一映射为属性值范围的下限值,获得相应像素位置处的属性差异;
[0170] 步骤808,将不低于差分属性阈值的差分属性值,以正相关映射方式映射到属性值范围内,获得相应像素位置处的属性差异;
[0171] 步骤810,基于每个像素位置处的属性差异生成差分属性表征图,差分属性表征图中每个像素位置处的属性值为相应像素位置处的属性差异;
[0172] 步骤812,对增强图像的属性表征图进行边缘保持的滤波处理,获得增强图像的平滑属性表征图;
[0173] 步骤814,针对至少一部分像素位置处中每一个像素位置处,获取同种图像属性相应的变化度拉伸系数和属性拉伸系数;
[0174] 步骤816,基于变化度拉伸系数对像素位置处的属性差异进行权重调整,获得属性差异权重;
[0175] 步骤818,基于属性拉伸系数对平滑属性表征图中像素位置处的属性值进行权重调整,获得属性值权重;
[0176] 步骤820,对属性差异权重和属性值权重进行融合,生成像素位置处的局部融合权重;
[0177] 步骤822,确定增强图像中至少一部分像素位置处各自的增强融合权重,且相同像素位置处的局部融合权重和增强融合权重负相关;
[0178] 步骤824,生成源图像和增强图像的融合图像;融合图像中至少一部分像素位置处的像素值,是按相应像素位置处的局部融合权重和增强融合权重,对源图像和增强图像各自在相应像素位置处的像素值加权融合获得的。
[0179] 在一个实施例中,如图9所示,通过一个流程示意图来说明本申请的基于增强图像的图像处理方法,该方法可以由终端或服务器单独执行,也可以由终端和服务器协同执行。在本申请实施例中,以该方法应用于终端为例进行说明,包括以下步骤:
[0180] 步骤902,获取源图像和增强图像各自在同种图像属性下的属性表征图;增强图像是对源图像进行增强处理获得的;
[0181] 步骤904,对源图像和增强图像各自的属性表征图进行比对,获得源图像和增强图像在至少一部分像素位置处的属性差异,至少一部分像素位置处的属性差异包括至少一部分像素位置处的至少两种图像属性的属性差异;
[0182] 步骤906,分别基于至少一部分像素位置处的至少两种图像属性的属性差异和增强图像的至少两种图像属性的属性表征图,生成至少一部分像素位置处各自在至少两种图像属性下相应的属性融合权重;
[0183] 步骤908,针对至少一部分像素位置处中每一个像素位置处,对相应的至少两种图像属性的属性融合权重进行融合,生成像素位置处的局部融合权重;
[0184] 步骤910,确定增强图像中至少一部分像素位置处各自的增强融合权重,且相同像素位置处的局部融合权重和增强融合权重负相关;
[0185] 步骤912,生成源图像和增强图像的融合图像;融合图像中至少一部分像素位置处的像素值,是按相应像素位置处的局部融合权重和增强融合权重,对源图像和增强图像各自在相应像素位置处的像素值加权融合获得的。
[0186] 发明人认为,传统的增强后处理技术方案,采用的全局融合方案,会使得图像内容所有区域、所有像素使用相同的融合系数,使得最终的增强输出图,要么整体等比例接近源图像,要么整体等比例接近增强图像。由于常规增强算法很难保证所有场景所有区域的增强效果是同等让人满意的,所以采用全局融合方案等比例融合,会导致部分区域欠佳的增强效果与部分区域满意的增强效果得到了同等程度的保留,没法实现增强后处理在不同区域、不同像素的自适应融合。除此外,全局融合系数的设置比较依赖算法开发人员的经验,自适应性有限。
[0187] 基于此,本申请提出了一种基于增强图像的图像处理方法,通过采用逐像素的局部融合系数,解决全局融合方案的所有像素共用一个系数的问题,实现更灵活的融合,通过基于画面属性和增强变化趋势,进行自适应的融合系数计算,解决全局增强方法依赖经验设计、自适应性不够的问题,实现更智能的融合。
[0188] 本申请提供的基于增强图像的图像处理方法,作为完整增强算法组成的一部分,主要可以应用于图像增强模块的后处理步骤中,如图10所示,对源图像进行增强处理获得增强图像后,可以利用本申请所提出的基于增强图像的图像处理方法,将源图像和增强图像,进行增强后处理(自适应的逐像素局部融合),从而输出最终增强图像,即融合图像。进一步的,本申请所提出的基于增强图像的图像处理方法,可以应用于各种有画质增强需求的视频数据中,包括但不限于各种长视频、短视频等。
[0189] 举例说明,在将本申请所提出的基于增强图像的图像处理方法应用于视频数据中时,可以应用于对视频数据中单帧视频帧进行处理。在一个具体的应用中,可以以单帧视频帧为源图像,通过对单帧视频帧进行增强处理,得到单帧视频帧相应的增强图像后,再采用本申请所提出的基于增强图像的图像处理方法进行处理,以实现对单帧视频帧的图像增强。在一个具体的应用中,也可以以视频数据中时域上的相邻帧分别为源图像和增强图像,采用本申请拖提出的基于增强图像的图像处理方法进行处理,以实现对单帧视频帧的图像增强。
[0190] 本申请所提供的基于增强图像的图像处理方法,可以聚焦于不同的图像属性维度,如亮度、色调、对比度等,并分析增强图像相对于源图像的变化趋势,使得增强图像中关注的图像属性维度比源图像差的区域的像素值更接近于源图像(即源图像的像素位置处的局部融合权重更接近于1)。
[0191] 下面以聚焦于亮度为例,来说明本申请的基于增强图像的图像处理方法,假定场景为,常规增强步骤后,增强图像与源图像相比,偏亮区域的细节(一般为暗部细节)丢失了,利用本申请提出的基于增强图像的图像处理方法,可以对常规增强进行补强,使得最终增强画质更佳,具体的流程示意图可以如图11所示,该基于增强图像的图像处理方法具体包括以下步骤:
[0192] 步骤1:提取属性表征图,即获取源图像和增强图像各自在亮度属性下的属性表征图。
[0193] 其中,亮度属性下的属性表征图可以为灰度图、也可以为HSV颜色模型中的V通道图像,还可以为LAB颜色模型中的L通道图像。
[0194] 具体的,终端会分别获取源图像和增强图像各自在亮度属性下的属性表征图。
[0195] 步骤2:提取亮部区域,即标定增强图像中偏亮的区域。
[0196] 具体的,终端会对增强图像的属性表征图进行边缘保持的滤波处理,保留大轮廓的同时去除纹理细节,从而提取出增强图像中偏亮的区域,获得增强图像的平滑属性表征图。
[0197] 其中,可以通过导向滤波、双边滤波、形态学的开闭操作等进行边缘保持的滤波处理,本实施例中在此处不对进行边缘保持的滤波方式进行限定,只要能够实现边缘保持的滤波即可。
[0198] 在具体的应用中,可以通过导向滤波对增强图像的属性表征图进行边缘保持的滤波处理,该滤波处理可以用公式 表示,其中是指滤波后的属性表征图, 是指导向滤波, 是指增强图像的属性表
征图。
[0199] 步骤3:提取提亮区域,即标定增强图像对比源图像亮度变亮的区域。
[0200] 具体的,终端会将源图像和增强图像各自的属性表征图每个像素位置处的属性值分别进行比对,获得不同的属性表征图在每个像素位置处的差分属性值,将不同的属性表征图在每个像素位置处的差分属性值减去亮度噪声阈值,以排除掉无用的亮度波动噪声,将每个像素位置处的减去噪声阈值后的差分属性值分别映射到属性值范围内,获得每个像素位置处的属性差异,基于每个像素位置处的属性差异生成差分属性表征图,差分属性表征图中每个像素位置处的属性值为相应像素位置处的属性差异。其中,亮度噪声阈值可按照实际应用场景进行配置。
[0201] 在具体的应用中,终端会将低于差分属性阈值的差分属性值,统一映射为属性值范围的下限值,获得相应像素位置处的属性差异,将不低于差分属性阈值的差分属性值,以正相关映射方式映射到属性值范围内,获得相应像素位置处的属性差异。
[0202] 其中,差分属性阈值和属性值范围的下限值均可按照实际应用场景进行配置。在一个具体的应用中,差分属性阈值具体可以为0,属性值范围的下限值也可以为0,则终端会将低于0的差分属性值,统一映射为0,获得相应像素位置处的属性差异,通过将低于差分属性阈值的差分属性值,统一映射为属性值范围的下限值,能够使得所得到的差分属性表征图只关注增强图像比源图像亮的区域,即暗细节丢失的区域。
[0203] 在具体的应用中,在将不低于差分属性阈值的差分属性值,以正相关映射方式映射到属性值范围内时,终端可以将每个像素位置处的差分属性值中最大差分属性值映射为属性值范围的上限值,通过分别将每个像素位置处的差分属性值除以最大差分属性值的方式,获得每个像素位置处的属性差异。其中,属性值范围的上限值可按照实际应用场景进行配置。
[0204] 在一个具体的应用中,属性值范围的上限值可以为1,属性值范围的下限值可以为0,则通过将每个像素位置处的差分属性值分别映射到属性值范围内,能够将差分属性值分别映射到[0,1]之间,即进行归一化处理。
[0205] 在一个具体的应用中,步骤三中所涉及的数据处理过程可以通过以下两个公式来实现。
[0206] 一是公式 ,其中, 是指归一化之前的差分属性表征图, 是指增强图像, 是指源图像,是指亮度噪声阈值,
是指线性整流函数(Linear rectification function),又称修正线性单元,是一种人工神经网络中常用的激活函数,通常指代以斜坡函数及其变种为代表的非线性函数。
[0207] 二是公式 ,通过该公式可以实现对差分属性值的归一化处理,其中,等式右边的 是指归一化之前的差分属性表征图中像素位置处的差分属性值,等式左边的 是指像素位置处的属性差异, 是指归一化之前的差分属性表征
图中最大差分属性值。
[0208] 步骤4:生成融合掩膜,即综合步骤2和步骤3,将亮部区域中丢失了暗部细节的像素点提取出来,生成局部融合掩膜。
[0209] 具体的,针对至少一部分像素位置处中每一个像素位置处,终端会将步骤三所得到的像素位置处的属性差异和步骤二所得到的增强图像的平滑属性表征图中至少一部分像素位置处的属性值,生成源图像中至少一部分像素位置处各自的局部融合权重,即局部融合掩膜。
[0210] 在具体的应用中,针对至少一部分像素位置处中每一个像素位置处,终端会获取亮度属性相应的变化度拉伸系数和亮度拉伸系数,基于变化度拉伸系数对像素位置处的属性差异进行权重调整,获得属性差异权重,基于亮度拉伸系数对平滑属性表征图中像素位置处的属性值进行权重调整,获得属性值权重,对属性差异权重和属性值权重进行融合,生成像素位置处的局部融合权重。其中,变化度拉伸系数和亮度拉伸系数可按照实际应用场景进行配置,本实施例在此处不做具体限定。需要说明的是,变化度拉伸系数越大,越能提高属性差异的重要程度,亮度拉伸系数越大,越能提高属性值的重要程度。
[0211] 在具体的应用中,终端可以使用幂函数、指数函数、对数函数等对属性差异和属性值进行权重调整,本实施例在此处不限定进行权重调整的方式,只要能够实现权重调整即可。在一个具体的应用中,终端可以使用幂函数对属性差异和属性值进行权重调整,即以属性差异为底数,以变化度拉伸系数为幂,对属性差异进行权重调整,获得属性差异权重,以属性值为底数,以亮度拉伸系数为幂,对属性值进行权重调整,获得属性值权重。举例说明,属性差异权重具体可以表示为 ,其中 为属性差异, 为变化度拉伸系数。属性值权重具体可以表示为 ,其中, 为属性值,
为亮度拉伸系数。
[0212] 在具体的应用中,对属性差异权重和属性值权重进行融合的方式为将属性差异权重和属性值权重相乘,以属性差异权重和属性值权重的乘积作为像素位置处的局部融合权重。举例说明,局部融合权重具体可以为:,其中 为属性值权重, 为属性差异权重。
[0213] 步骤5:融合,即利用步骤四生成的局部融合掩膜,将源图像和增强图像加权融合,得到最终增强图像,即融合图像。
[0214] 具体的,终端会生成源图像和增强图像的融合图像,融合图像中至少一部分像素位置处的像素值,是按相应像素位置处的局部融合权重和增强融合权重,对源图像和增强图像各自在相应像素位置处的像素值加权融合获得的,即针对至少一部分像素位置处中每一个像素位置处,都采用了独有的融合值,通过这种方式能够实现更灵活的图像融合。其中,增强图像中至少一部分像素位置处各自的增强融合权重与相同像素位置处的局部融合权重负相关。
[0215] 在具体的应用中,每个像素位置处的局部融合权重和增强融合权重的总和是预配置的,通过用预配置的总和减去源图像中像素位置处的局部融合权重,就可以得到增强图像中相同像素位置处的增强融合权重。举例说明,预配置的总和可以为1,则用1减去源图像中像素位置处的局部融合权重,就可以得到增强图像中相同像素位置处的增强融合权重。
[0216] 在一个具体的应用中,生成融合图像所使用的融合公式可以为:
[0217] ,其中, 是指源图像,是指增强图像, 是指局部融合权重, 是指增强融合权
重,该公式以像素点为执行单位。
[0218] 在一个实施例中,如图12所示,提供了采用本申请提出的基于增强图像的图像处理后的效果对比图,可以看到,针对亮部区域1202(图12中在源图像、增强图像和最终增强图像的左下角给出了亮部区域1202的放大图),源图像在亮部区域存在的暗细节(通过亮部区域内部的线条表示),在经过增强处理所得到的增强图像中并未存在,即过度增强处理使得暗细节丢失了,而在最终增强图像中,源图像在亮部区域存在的暗细节被保留下来了,即最终增强图像对比增强图像,在亮部区域1202,暗细节明显更为丰富和突出。针对适中亮度区域1204,在源图像中适中亮度区域的亮度并不明显(在源图像中用虚线表示并不明显),经过增强处理后在增强图像中该适中亮度区域的视觉效果更佳,则在最终增强图像中,经过增强处理后视觉效果更佳的适中亮度区域被保留下来了,即最终增强图像对比源图像,适中亮度区域视觉效果更佳,对比度更高,更清晰。
[0219] 在一个实施例中,如图13所示,提供了采用本申请提出的基于增强图像的图像处理后的效果对比图,可以看到,最终增强图像对比常规增强图像,在用白色框所标注亮部区域1302(图13中在源图像、常规增强图像和最终增强图像的左下角给出了亮部区域1302的放大图),暗细节(存在于图13中用黑色框所标注的区域1306内)明显更为丰富和突出,最终增强图像对比源图像,用白色框所标注的适中亮度区域1304视觉效果更佳,对比度更高,更清晰。总体而言,最终增强图像综合了源图像和常规增强图像的优点,整体和局部观感都更好。
[0220] 发明人认为,本申请通过采用逐像素的局部融合系数,使得每个区域、甚至每个像素都可以采用独有的融合值,能够实现更灵活的图像融合,基于画面属性(如亮度、对比度、前后变化度等)和增强变化趋势(如细节丢失、色彩变暗淡等),进行自适应的融合权重计算,不依赖经验设计,实现更智能的融合,使得最终增强输出图画质在聚焦的图像属性上效果比增强图像更佳,在整体上比源图像有明显的画质提升,能同时保留源图像和增强图像的有益特性,且可以适配多个画质属性,实用性广。
[0221] 应该理解的是,虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
[0222] 基于同样的发明构思,本申请实施例还提供了一种用于实现上述所涉及的基于增强图像的图像处理方法的基于增强图像的图像处理装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似,故下面所提供的一个或多个基于增强图像的图像处理装置实施例中的具体限定可以参见上文中对于基于增强图像的图像处理方法的限定,在此不再赘述。
[0223] 在一个实施例中,如图14所示,提供了一种基于增强图像的图像处理装置,包括:表征图获取模块1402、表征图比对模块1404、局部融合权重生成模块1406、增强融合权重生成模块1408和融合图像生成模块1410,其中:
[0224] 表征图获取模块1402,用于获取源图像和增强图像各自在同种图像属性下的属性表征图,增强图像是对源图像进行增强处理获得的;
[0225] 表征图比对模块1404,用于对源图像和增强图像各自的属性表征图进行比对,获得源图像和增强图像在至少一部分像素位置处的属性差异;
[0226] 局部融合权重生成模1406,用于基于至少一部分像素位置处的属性差异和增强图像的属性表征图,生成源图像中至少一部分像素位置处各自的局部融合权重;
[0227] 增强融合权重生成模块1408,用于确定增强图像中至少一部分像素位置处各自的增强融合权重,且相同像素位置处的局部融合权重和增强融合权重负相关;
[0228] 融合图像生成模块1410,用于生成源图像和增强图像的融合图像,融合图像中至少一部分像素位置处的像素值,是按相应像素位置处的局部融合权重和增强融合权重,对源图像和增强图像各自在相应像素位置处的像素值加权融合获得的。
[0229] 上述基于增强图像的图像处理装置,通过获取源图像和增强图像各自在同种图像属性下的属性表征图,对源图像和增强图像各自的属性表征图进行比对,能够关注源图像到增强图像的属性变化趋势,获得源图像和增强图像在至少一部分像素位置处的属性差异,进而可以基于至少一部分像素位置处的属性差异和增强图像的属性表征图,进行自适应的融合权重计算,生成源图像中至少一部分像素位置处各自的局部融合权重,从而可以确定增强图像中至少一部分像素位置处各自的增强融合权重,生成源图像和增强图像的融合图像,融合图像中至少一部分像素位置处的像素值,是按相应像素位置处的局部融合权重和增强融合权重,对源图像和增强图像各自在相应像素位置处的像素值加权融合获得的,整个过程,通过关注源图像到增强图像的属性变化趋势来生成局部融合权重,采用逐像素的局部融合权重来实现图像融合,能够提升增强效果。
[0230] 在一个实施例中,表征图比对模块还用于将源图像和增强图像各自的属性表征图每个像素位置处的属性值分别进行比对,获得不同的属性表征图在每个像素位置处的差分属性值,基于每个像素位置处的差分属性值生成差分属性表征图,差分属性表征图中至少一部分像素位置处的属性值,表征源图像和增强图像在至少一部分像素位置处的属性差异。
[0231] 在一个实施例中,表征图比对模块还用于将每个像素位置处的差分属性值分别映射到属性值范围内,获得每个像素位置处的属性差异,基于每个像素位置处的属性差异生成差分属性表征图,差分属性表征图中每个像素位置处的属性值为相应像素位置处的属性差异。
[0232] 在一个实施例中,表征图比对模块还用于将低于差分属性阈值的差分属性值,统一映射为属性值范围的下限值,获得相应像素位置处的属性差异,将不低于差分属性阈值的差分属性值,以正相关映射方式映射到属性值范围内,获得相应像素位置处的属性差异。
[0233] 在一个实施例中,至少一部分像素位置处包括形成标定区域的部分像素位置,增强图像的属性表征图中标定区域中的属性值符合同种图像属性下的标定区域识别条件,融合图像中在非标定区域中的像素位置处的像素值,等于增强图像中相应像素位置处的像素值。
[0234] 在一个实施例中,标定区域识别条件包括:增强图像的属性表征图中标定区域中的像素位置构成连通域,且增强图像的属性表征图中连通域中像素位置处的属性值属于与同种图像属性相应的标定属性值范围。
[0235] 在一个实施例中,源图像中非标定区域的像素位置处各自的局部融合权重为零,增强图像中非标定区域的像素位置处各自的增强融合权重,是根据源图像中相应像素位置处的局部融合权重确定的,融合图像生成模块还用于针对源图像和增强图像的每个像素位置,分别按照相应像素位置处的局部融合权重和增强融合权重,对源图像和增强图像各自在相应像素位置处的像素值加权融合,获得融合图像。
[0236] 在一个实施例中,融合图像生成模块还用于在标定区域中的每个像素位置处,按照相应的局部融合权重和增强融合权重,将源图像和增强图像各自的相应像素值进行加权融合,形成融合图像中相应像素位置处的像素值,将增强图像在非标定区域的每个像素位置处的像素值,分别作为融合图像中相应像素位置处的像素值。
[0237] 在一个实施例中,局部融合权重生成模块还用于对增强图像的属性表征图进行边缘保持的滤波处理,获得增强图像的平滑属性表征图,基于至少一部分像素位置处的属性差异和平滑属性表征图中至少一部分像素位置处的属性值,生成源图像中至少一部分像素位置处各自的局部融合权重。
[0238] 在一个实施例中,局部融合权重生成模块还用于针对至少一部分像素位置处中每一个像素位置处,将像素位置处的属性差异和平滑属性表征图中像素位置处的属性值进行融合,生成像素位置处的局部融合权重。
[0239] 在一个实施例中,局部融合权重生成模块还用于获取同种图像属性相应的变化度拉伸系数和属性拉伸系数,基于变化度拉伸系数对像素位置处的属性差异进行权重调整,获得属性差异权重,基于属性拉伸系数对平滑属性表征图中像素位置处的属性值进行权重调整,获得属性值权重,对属性差异权重和属性值权重进行融合,生成像素位置处的局部融合权重。
[0240] 在一个实施例中,至少一部分像素位置处的属性差异包括至少一部分像素位置处的至少两种图像属性的属性差异,增强图像的属性表征图包括增强图像的至少两种图像属性的属性表征图,局部融合权重生成模块还用于分别基于至少一部分像素位置处的至少两种图像属性的属性差异和增强图像的至少两种图像属性的属性表征图,生成至少一部分像素位置处各自在至少两种图像属性下相应的属性融合权重,针对至少一部分像素位置处中每一个像素位置处,对相应的至少两种图像属性的属性融合权重进行融合,生成像素位置处的局部融合权重。
[0241] 上述基于增强图像的图像处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
[0242] 在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图15所示。该计算机设备包括处理器、存储器、输入/输出接口(Input/Output,简称I/O)和通信接口。其中,处理器、存储器和输入/输出接口通过系统总线连接,通信接口通过输入/输出接口连接到系统总线。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储源图像和增强图像等数据。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于增强图像的图像处理方法。
[0243] 在一个实施例中,提供了一种计算机设备,该计算机设备可以是终端,其内部结构图可以如图16所示。该计算机设备包括处理器、存储器、输入/输出接口、通信接口、显示单元和输入装置。其中,处理器、存储器和输入/输出接口通过系统总线连接,通信接口、显示单元和输入装置通过输入/输出接口连接到系统总线。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信,无线方式可通过WIFI、移动蜂窝网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种基于增强图像的图像处理方法。该计算机设备的显示单元用于形成视觉可见的画面,可以是显示屏、投影装置或虚拟现实成像装置,显示屏可以是液晶显示屏或电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
[0244] 本领域技术人员可以理解,图15和图16中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
[0245] 在一个实施例中,还提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现上述各方法实施例中的步骤。
[0246] 在一个实施例中,提供了一种计算机可读存储介质,存储有计算机程序,该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
[0247] 在一个实施例中,提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
[0248] 本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read‑Only Memory,ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory,MRAM)、铁电存储器(Ferroelectric Random Access Memory,FRAM)、相变存储器(Phase Change Memory,PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器等。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic Random Access Memory,DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等,不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等,不限于此。
[0249] 以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
[0250] 以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请的保护范围应以所附权利要求为准。