图像虚化方法、装置、计算机可读存储介质和计算机设备转让专利

申请号 : CN201710676169.2

文献号 : CN107704798B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 丁佳铭

申请人 : OPPO广东移动通信有限公司

摘要 :

本发明涉及一种图像虚化方法、装置、计算机可读存储介质和计算机设备。所述方法包括:获取待处理图像;检测所述待处理图像中的人脸区域,并获取所述人脸区域对应的物理距离信息;根据所述物理距离信息获取背景虚化强度,并根据所述背景虚化强度对所述待处理图像中的背景区域进行虚化处理。上述图像虚化方法、装置、计算机可读存储介质和计算机设备,可以提高图像处理的精确度。

权利要求 :

1.一种图像虚化方法,其特征在于,所述方法包括:

获取待处理图像;

检测所述待处理图像中的人脸区域,并获取所述人脸区域对应的物理距离信息,其中,所述人脸区域对应的物理距离信息为与图像采集装置到人脸之间的物理距离相关的参数;

根据所述物理距离信息获取背景虚化强度,并根据所述背景虚化强度对所述待处理图像中的背景区域进行虚化处理,其中,所述背景虚化强度与所述物理距离信息所指示的距离负相关。

2.根据权利要求1所述的图像虚化方法,其特征在于,所述检测所述待处理图像中的人脸区域,并获取所述人脸区域对应的物理距离信息包括:检测所述待处理图像中的人脸区域,并获取所述待处理图像中各个人脸区域对应的物理距离信息。

3.根据权利要求2所述的图像虚化方法,其特征在于,所述根据所述物理距离信息获取背景虚化强度,并根据所述背景虚化强度对所述待处理图像中的背景区域进行虚化处理包括:获取各个人脸区域对应的区域面积,根据所述物理距离信息和区域面积获取背景虚化强度,并根据所述背景虚化强度对所述待处理图像中的背景区域进行虚化处理。

4.根据权利要求2所述的图像虚化方法,其特征在于,所述方法还包括:根据所述各个人脸区域对应的物理距离信息,获取所述待处理图像中各个人脸区域对应的人像虚化强度;

根据所述人像虚化强度对所述人脸区域对应的人像区域进行虚化处理。

5.根据权利要求4所述的图像虚化方法,其特征在于,所述方法还包括:获取各个人脸区域对应的区域面积,将区域面积最大的人脸区域作为基础区域,并将除基础区域之外的人脸区域作为人脸虚化区域;

所述根据所述各个人脸区域对应的物理距离信息,获取所述待处理图像中各个人脸区域对应的人像虚化强度包括:根据所述基础区域和人脸虚化区域对应的物理距离信息,获取人脸虚化区域对应的人像虚化强度;

所述根据所述人像虚化强度对所述人脸区域对应的人像区域进行虚化处理包括:根据所述人像虚化强度对所述人脸虚化区域对应的人像区域进行虚化处理。

6.一种图像虚化装置,其特征在于,所述装置包括:

图像获取模块,用于获取待处理图像;

信息获取模块,用于检测所述待处理图像中的人脸区域,并获取所述人脸区域对应的物理距离信息,其中,所述人脸区域对应的物理距离信息为与图像采集装置到人脸之间的物理距离相关的参数;

背景虚化模块,用于根据所述物理距离信息获取背景虚化强度,并根据所述背景虚化强度对所述待处理图像中的背景区域进行虚化处理,其中,所述背景虚化强度与所述物理距离信息所指示的距离负相关。

7.根据权利要求6所述的图像虚化装置,其特征在于,所述信息获取模块还用于检测所述待处理图像中的人脸区域,并获取所述待处理图像中各个人脸区域对应的物理距离信息。

8.根据权利要求7所述的图像虚化装置,其特征在于,所述背景虚化模块还用于获取各个人脸区域对应的区域面积,根据所述物理距离信息和区域面积获取背景虚化强度,并根据所述背景虚化强度对所述待处理图像中的背景区域进行虚化处理。

9.根据权利要求7所述的图像虚化装置,其特征在于,所述装置还包括:强度获取模块,用于根据所述各个人脸区域对应的物理距离信息,获取所述待处理图像中各个人脸区域对应的人像虚化强度;

人像虚化模块,用于根据所述人像虚化强度对所述人脸区域对应的人像区域进行虚化处理。

10.根据权利要求9所述的图像虚化装置,其特征在于,所述装置还包括:区域获取模块,用于获取各个人脸区域对应的区域面积,将区域面积最大的人脸区域作为基础区域,并将除基础区域之外的人脸区域作为人脸虚化区域;

所述强度获取模块还用于根据所述基础区域和人脸虚化区域对应的物理距离信息,获取人脸虚化区域对应的人像虚化强度;

所述人像虚化模块还用于根据所述人像虚化强度对所述人脸虚化区域对应的人像区域进行虚化处理。

11.一个或多个包含计算机可执行指令的非易失性计算机可读存储介质,当所述计算机可执行指令被一个或多个处理器执行时,使得所述处理器执行如权利要求1至5中任一项所述的图像虚化方法。

12.一种计算机设备,包括存储器及处理器,所述存储器中储存有计算机可读指令,所述指令被所述处理器执行时,使得所述处理器执行如权利要求1至5中任一项所述的图像虚化方法。

说明书 :

图像虚化方法、装置、计算机可读存储介质和计算机设备

技术领域

[0001] 本发明涉及计算机技术领域,特别是涉及图像虚化方法、装置、计算机可读存储介质和计算机设备。

背景技术

[0002] 如今人们生活中越来越离不开拍照摄影,特别是随着智能终端的发展,智能终端实现拍照功能后,使拍照应用得更加广泛。同时无论是在个人生活还是商业用途中,都对拍照的质量和用户体验要求越来越高。
[0003] 然而,拍照的场景往往是复杂多变的,为了使得拍摄的照片适应复杂多变的场景,更加凸显拍摄的主体从而体现层次感,通常的处理方法是保持拍摄主体的清晰度,并将拍摄主体以外的区域进行虚化处理。虚化处理就是将主体以外的区域进行模糊化,使得主体更加突出。传统的虚化方法是先识别图像中的主体,然后将主体以外的区域直接进行固定程度的虚化,使得背景和主体进行区别显示。

发明内容

[0004] 本申请实施例提供一种图像虚化方法、装置、计算机可读存储介质和计算机设备,可以提高图像处理的精确度。
[0005] 一种图像虚化方法,所述方法包括:
[0006] 获取待处理图像;
[0007] 检测所述待处理图像中的人脸区域,并获取所述人脸区域对应的物理距离信息;
[0008] 根据所述物理距离信息获取背景虚化强度,并根据所述背景虚化强度对所述待处理图像中的背景区域进行虚化处理。
[0009] 一种图像虚化装置,所述装置包括:
[0010] 图像获取模块,用于获取待处理图像;
[0011] 信息获取模块,用于检测所述待处理图像中的人脸区域,并获取所述人脸区域对应的物理距离信息;
[0012] 背景虚化模块,用于根据所述物理距离信息获取背景虚化强度,并根据所述背景虚化强度对所述待处理图像中的背景区域进行虚化处理。
[0013] 一个或多个包含计算机可执行指令的非易失性计算机可读存储介质,当所述计算机可执行指令被一个或多个处理器执行时,使得所述处理器执行如下步骤:
[0014] 获取待处理图像;
[0015] 检测所述待处理图像中的人脸区域,并获取所述人脸区域对应的物理距离信息;
[0016] 根据所述物理距离信息获取背景虚化强度,并根据所述背景虚化强度对所述待处理图像中的背景区域进行虚化处理。
[0017] 一种计算机设备,包括存储器及处理器,所述存储器中储存有计算机可读指令,所述指令被所述处理器执行时,使得所述处理器执行如下步骤:
[0018] 获取待处理图像;
[0019] 检测所述待处理图像中的人脸区域,并获取所述人脸区域对应的物理距离信息;
[0020] 根据所述物理距离信息获取背景虚化强度,并根据所述背景虚化强度对所述待处理图像中的背景区域进行虚化处理。
[0021] 本申请实施例提供的图像虚化方法、装置、计算机可读存储介质和计算机设备,首先检测待处理图像中的人脸区域,并根据人脸区域的物理距离信息来获取背景区域的虚化强度,然后根据虚化强度对背景区域进行虚化处理。物理距离信息可以反映人脸与镜头的距离,距离不同获取的虚化强度也不同,使得虚化处理的更加精确。

附图说明

[0022] 为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
[0023] 图1为一个实施例中电子设备的内部结构示意图;
[0024] 图2为一个实施例中服务器的内部结构示意图;
[0025] 图3为一个实施例中图像虚化方法的流程图;
[0026] 图4为另一个实施例中图像虚化方法的流程图;
[0027] 图5为一个实施例中获取物理距离信息的原理图;
[0028] 图6为一个实施例中图像虚化装置的结构示意图;
[0029] 图7为另一个实施例中图像虚化装置的结构示意图;
[0030] 图8为一个实施例中图像处理电路的示意图。

具体实施方式

[0031] 为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
[0032] 可以理解,本发明所使用的术语“第一”、“第二”等可在本文中用于描述各种元件,但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说,在不脱离本发明的范围的情况下,可以将第一客户端称为第二客户端,且类似地,可将第二客户端称为第一客户端。第一客户端和第二客户端两者都是客户端,但其不是同一客户端。
[0033] 图1为一个实施例中电子设备的内部结构示意图。如图1所示,该电子设备包括通过系统总线连接的处理器、非易失性存储介质、内存储器和网络接口、显示屏和输入装置。其中,电子设备的非易失性存储介质存储有操作系统和计算机可读指令。该计算机可读指令被处理器执行时以实现一种图像虚化方法。该处理器用于提供计算和控制能力,支撑整个电子设备的运行。电子设备中的内存储器为非易失性存储介质中的计算机可读指令的运行提供环境。网络接口用于与服务器进行网络通信,如发送图像虚化请求至服务器,接收服务器返回的虚化处理后的图像等。电子设备的显示屏可以是液晶显示屏或者电子墨水显示屏等,输入装置可以是显示屏上覆盖的触摸层,也可以是电子设备外壳上设置的按键、轨迹球或触控板,也可以是外接的键盘、触控板或鼠标等。该电子设备可以是手机、平板电脑或者个人数字助理或穿戴式设备等。本领域技术人员可以理解,图1中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的电子设备的限定,具体的电子设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
[0034] 图2为一个实施例中服务器的内部结构示意图。如图2所示,该服务器包括通过系统总线连接的处理器、非易失性存储介质、内存储器和网络接口。其中,该服务器的非易失性存储介质存储有操作系统和计算机可读指令。该计算机可读指令被处理器执行时以实现一种图像虚化方法。该服务器的处理器用于提供计算和控制能力,支撑整个服务器的运行。该服务器的网络接口用于据以与外部的终端通过网络连接通信,比如接收终端发送的图像虚化请求以及向终端返回虚化处理后的图像等。服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。本领域技术人员可以理解,图2中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的服务器的限定,具体的服务器可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
[0035] 图3为一个实施例中图像虚化方法的流程图。如图3所示,该图像虚化方法包括步骤302至步骤306,其中:
[0036] 步骤302,获取待处理图像。
[0037] 在本申请提供的实施例中,待处理图像是指需要进行虚化处理的图像,可以通过图像采集装置进行采集。图像采集装置是指采集图像的装置,例如图像采集装置可以是照相机、移动终端上的摄像头、摄像机等装置。用户终端接收到图像虚化指令后,可以直接在用户终端对待处理图像进行虚化处理,也可以向服务器发起图像虚化请求,在服务器上对待处理图像进行虚化处理。
[0038] 可以理解的是,图像虚化指令可以是用户输入的,还可以是用户终端自动触发的。例如,用户通过用户终端输入拍照指令,移动终端在检测到该拍照指令之后,通过摄像头来采集待处理图像。然后自动触发生成图像虚化指令,并对待处理图像进行虚化处理。其中,拍照指令可以是移动终端的物理按键或触屏操作触发的,也可以是语音指令等。
[0039] 步骤304,检测待处理图像中的人脸区域,并获取人脸区域对应的物理距离信息。
[0040] 在一个实施例中,人脸区域是指待处理图像中人脸所在的区域,物理距离信息是指表示图像采集装置到待处理图像中各个像素点对应的物体之间的物理距离的相关参数。人脸区域对应的物理距离信息是指图像采集装置到人脸之间的物理距离的相关参数。
[0041] 具体地,可以首先识别待处理图像中的特征点,然后将特征点提取出来与预设人脸模型进行匹配,若该提取的特征点与预设人脸模型相匹配,则将提取特征点所在的区域作为人脸区域。
[0042] 在本申请提供的实施例中,待处理图像是由若干个像素构成,每个像素都有对应的物理距离信息,该物理距离信息表示该像素所表示的物体到图像采集装置对应的物理距离。
[0043] 可以理解的是,待处理图像中可能存在多个人脸区域,检测到待处理图像中的人脸区域后,可以获取各个人脸区域对应的区域面积;获取区域面积最大的人脸区域对应的物理距离信息。根据区域面积最大的人脸区域对应的物理距离信息获取背景虚化强度。区域面积是指人脸区域对应的面积大小,该区域面积可以是由人脸区域中所包含像素的数量进行表示,也可以是由人脸区域所占区域大小与待处理图像大小的比例进行表示。
[0044] 一般地,在采集物体的物理距离时,都有一个有效距离范围,在该有效距离范围内的物体,可以精确地获取到对应的物理距离信息,超过该有效距离范围的物体无法精确地测量。根据硬件性能不同有效距离范围的取值范围不同,该有效距离范围可以通过硬件进行调节。因此,可以将该有效距离范围内的物理距离信息用精确的数值表示,超过该有效距离范围的物理距离信息用一个固定的数值表示。
[0045] 也就是说,可以只检测该有效距离范围内的人脸区域,查过该有效距离范围的人脸区域可以不获取。则步骤304可以包括:检测待处理图像中在预设距离范围内的人脸区域,并获取人脸区域对应的物理距离信息。其中,预设距离范围可以但限于是指有效物理距离信息的取值范围。
[0046] 步骤306,根据物理距离信息获取背景虚化强度,并根据背景虚化强度对待处理图像中的背景区域进行虚化处理。
[0047] 在本发明提供的实施例中,虚化处理是指将图像进行模糊化处理,根据虚化强度进行虚化处理,虚化强度不同,虚化处理的程度也不同。背景区域可以是指待处理图像中,除人脸区域或人像区域之外的其他区域。其中,人像区域是指待处理图像中的整个人像所在的区域。
[0048] 背景虚化强度是指表示对背景区域进行虚化处理的程度的参数。根据人脸区域的物理距离信息获取背景虚化强度,再根据该背景虚化强度对背景区域进行虚化处理,得到的虚化结果就会随着人脸到图像采集装置的实际物理距离改变而改变。一般地,物理距离信息越大,背景虚化强度越小,对背景区域进行虚化处理的程度就越小;物理距离信息越小,背景虚化强度越大,对背景区域进行虚化处理的程度就越大。
[0049] 上述图像虚化方法,首先检测待处理图像中的人脸区域,并根据人脸区域的物理距离信息来获取背景区域的虚化强度,然后根据虚化强度对背景区域进行虚化处理。物理距离信息可以反映人脸与镜头的距离,距离不同获取的虚化强度也不同,虚化程度随物理距离信息的改变而改变,使得虚化处理的效果能够适应不同的拍摄场景,虚化处理更加精确。
[0050] 图4为另一个实施例中图像虚化方法的流程图。如图4所示,该图像虚化方法包括步骤402至步骤410,其中:
[0051] 步骤402,获取待处理图像。
[0052] 在本申请提供的实施例中,待处理图像可以是直接在本地或者服务器上进行获取。具体地,用户终端在接收到图像虚化指令之后,可以直接根据图像虚化指令中包含的图像存储地址和图像标识去获取对应的待处理图像。图像存储地址可以是用户终端本地的,也可以是服务器上的。在获取到待处理图像之后,可以在本地将待处理图像进行虚化处理,也可以在服务器上对待处理图像进行虚化处理。
[0053] 步骤404,检测待处理图像中的人脸区域,并获取待处理图像中各个人脸区域对应的物理距离信息。
[0054] 在本发明提供的实施例中,图像采集装置上可以安装双摄像头,通过双摄像头测量图像采集装置到物体之间的物理距离信息。具体地,通过第一摄像头和第二摄像头分别拍摄物体的图像;根据该图像获取第一夹角和第二夹角,其中,第一夹角为第一摄像头到物体所在水平线与第一摄像头到第二摄像头所在水平线之间的夹角,第二夹角为第二摄像头到物体所在水平线与第二摄像头到第一摄像头所在水平线之间的夹角;根据第一夹角、第二夹角及第一摄像头到第二摄像头之间的距离,获取图像采集装置到物体之间的物理距离信息。
[0055] 图5为一个实施例中获取物理距离信息的原理图。如图5所示,通过第一摄像头502和第二摄像头504分别拍摄物体506的图像,根据该图像可以获取第一夹角A1和第二夹角A2,然后再根据第一夹角A1、第二夹角A2和第一摄像头502到第二摄像头504之间的距离T,可以获取第一摄像头402到第二摄像头504所在水平线上任一点与物体506之间的物理距离D。
[0056] 可以理解的是,同一个场景中往往会包含多个人像,因此待处理图像中也会包含多个人脸区域。将待处理图像中的每个人脸区域都提取出来,并获取人脸区域对应的物理距离信息。一般地,针对某一个场景获取图像时,可以同时获取该场景对应的深度图。其中,获取的该深度图与图像是一一对应的,深度图中的值表示图像中对应像素的物理距离信息。也就是说,可以在获取待处理图像的同时获取对应的深度图,检测到待处理图像中的人脸区域之后,根据人脸区域中的像素坐标就可以在深度图中获取对应的物理距离信息。
[0057] 在一个实施例中,由于每个像素都有对应的物理距离信息,而人脸区域包含了多个像素。在获取到人脸区域中每一个像素对应的物理距离信息之后,可以对人脸区域中所有像素对应的物理距离信息求取平均值,或者获取某一个像素对应的物理距离信息,来表示该人脸区域对应的物理距离信息。例如,获取人脸区域的中心像素对应的物理距离信息,来表示该人脸区域对应的物理距离信息。
[0058] 步骤406,根据物理距离信息获取背景虚化强度,并根据背景虚化强度对待处理图像中的背景区域进行虚化处理。
[0059] 在一个实施例中,认为人像与人脸在同一垂直平面上,人像到图像采集装置的物理距离与人脸到图像采集装置的物理距离相在同一范围内。因此,在获取到物理距离信息和人脸区域后,根据人脸区域对应的物理距离即可获取到待处理图像中的人像区域,然后根据人像区域就可以在待处理图像中确定背景区域。
[0060] 具体地,检测待处理图像中的人脸区域,并根据人脸区域对应的物理距离信息获取人像距离范围,并根据人像距离范围可以获取待处理图像中的人像区域,再根据该人像区域获取背景区域。其中,人像距离范围是指待处理图像中人像区域对应的物理距离信息的取值范围。由于图像采集装置到人脸的物理距离与到人像的物理距离可以看作是相等的,在检测到人脸区域之后,获取人脸区域对应的物理距离信息,再根据人脸区域对应的物理距离信息就可以确定人像区域对应的物理距离信息的范围,该范围内的物理距离信息认为是人像区域对应的物理距离信息,该范围之外的物理距离信息被认为是背景区域的物理距离信息。
[0061] 进一步地,步骤406之前还可以包括:根据人脸区域对应的物理距离信息获取人像距离范围,并根据人像距离范围内的物理距离信息获取待处理图像中的图像区域;获取图像区域的颜色信息,并根据颜色信息获取待处理图像中除人像区域之外的背景区域。
[0062] 根据人像距离范围提取的图像区域是待处理图像中与人脸在同一物理距离范围内的物体所在的区域,假设人旁边有其他物体存在,那么提取出来的图像区域就可能存在除人像区域之外的其他物体。这时候可以根据图像区域的颜色信息进一步将人像区域提取出来。
[0063] 在本发明提供的实施例中,颜色信息是指用来表示图像的色彩的相关参数,例如颜色信息可以包括图像中色彩的色调、饱和度、明度等信息。其中,色彩的色调是指色彩的角度度量,其取值范围为0°~360°,从红色开始按逆时针方向计算,红色为0°,绿色为120°,蓝色为240°。饱和度是指色彩接近光谱的程度,一般饱和度越高,色彩越鲜艳;饱和度越低,色彩越暗淡。明度则表示色彩的明亮程度。
[0064] 不同的物体往往有不同的颜色特征,即在图像中呈现的颜色信息也是不一样的。例如树木的颜色为绿色、天空为蓝色、大地为黄色等等。根据图像区域中的颜色信息可以提取人像区域和人像区域外的背景区域。
[0065] 具体地,获取图像区域的颜色分量,提取图像区域中颜色分量在预设范围内的区域作为人像区域。颜色分量是指将待处理图像转化为某一从色彩维度的图像所产生的图像分量,例如颜色分量可以是指图像的RGB颜色分量、CMY颜色分量、HSV颜色分量等,可以理解的是RGB颜色分量、CMY颜色分量、HSV颜色分量之间可以相互转换。
[0066] 在一个实施例中,获取图像区域的HSV颜色分量,提取图像区域中HSV颜色分量在预设范围内的区域作为人像区域。其中,HSV颜色分量分别是指图像的色调(H)、饱和度(S)、明度(V)分量,分别给这三个分量设定一个预设范围,并将图像区域中这三个分量在预设范围内的区域提取出来,作为人像区域。
[0067] 举例来说,通过HSV颜色分量来获取人像区域,具体可以是获取图像区域的HSV颜色分量,并获取图像区域中满足条件“H值在20~25、S值在10~50、V值在50~85之间”的区域,作为人像区域。
[0068] 在一个实施例中,步骤406可以包括:获取各个人脸区域对应的区域面积,根据物理距离信息和区域面积获取背景虚化强度,并根据背景虚化强度对待处理图像中的背景区域进行虚化处理。
[0069] 若获取到多个人脸区域,则每个人脸区域都有对应的物理距离信息,并根据获取的物理距离信息来获取背景虚化强度。更进一步地,可以首先获取各个人脸区域对应的区域面积,根据区域面积和物理距离信息来获取背景虚化强度。例如,在获取到多个人脸区域之后,根据区域面积最大或最小的人脸区域对应的物理距离信息,获取背景虚化强度。还可以是获取各个人脸区域对应的物理距离信息,并根据各个人脸区域对应的物理距离信息的平均值来获取背景虚化强度。
[0070] 在一个实施例中,物理距离信息与背景虚化强度存在对应关系,获取到物理距离信息之后,根据该物理距离信息和该对应关系就可以获取到背景虚化强度。再根据背景虚化强度对背景区域进行虚化处理。
[0071] 步骤408,根据各个人脸区域对应的物理距离信息,获取待处理图像中各个人脸区域对应的人像虚化强度。
[0072] 在一个实施例中,获取到多个人脸区域之后,可以继续对人脸区域对应的人像区域进行虚化处理,根据人脸区域对应的物理距离信息获取人像虚化强度,该人像虚化强度表示了对人像区域进行虚化处理的程度。
[0073] 步骤410,根据人像虚化强度对人脸区域对应的人像区域进行虚化处理。
[0074] 更进一步地,获取人脸区域对应的区域面积,将区域面积最大的人脸区域作为基础区域,并将除基础区域之外的人脸区域作为人脸虚化区域;根据基础区域和人脸虚化区域对应的物理距离信息,获取人脸虚化区域对应的人像虚化强度;根据人像虚化强度对人脸虚化区域对应的人像区域进行虚化处理。同时根据基础区域对应的物理距离信息获取背景虚化强度。
[0075] 也就是说,根据区域面积将人脸区域分为基础区域和人脸虚化区域,将基础区域和人脸虚化区域做不同程度的虚化处理。例如,基础区域对应的人像区域不做虚化处理,人脸虚化区域对应的人像区域需要做虚化处理。根据将人脸区域对应的物理距离信息作为基础,获取人脸虚化区域对应的人像虚化强度。
[0076] 举例来说,假设待处理图像中包含A、B、C三个人脸区域,对应的物理距离信息分别为Da、Db和Dc。其中,A区域的区域面积最大,则将A区域作为基础区域,B区域和C区域作为人脸虚化区域。A区域对应的物理距离信息与背景虚化强度存在对应关系,获取到A区域对应的物理距离信息后,则可以获取背景虚化强度。该背景虚化强度可以表示对背景区域虚化处理的强度,假设背景虚化强度为X,且B区域和C区域对应的人像区域的人像虚化强度分别为Xb和Xc,则Xb和Xc可以由如下公式计算:
[0077]
[0078] 上述图像虚化方法,首先检测待处理图像中的人脸区域,并根据人脸区域的物理距离信息来获取背景区域的虚化强度,然后根据虚化强度对背景区域进行虚化处理。物理距离信息可以反映人脸与镜头的距离,距离不同获取的虚化强度也不同,虚化程度随物理距离信息的改变而改变,使得虚化处理的效果能够适应不同的拍摄场景,虚化处理更加精确。同时,将人脸区域划分为基础区域和人脸虚化区域,将不同的人脸区域做不同的虚化处理,进一步地提高了虚化处理的精确度。
[0079] 图6为一个实施例中图像虚化装置的结构示意图。该图像虚化装置600包括图像获取模块602、信息获取模块604和背景虚化模块606。其中:
[0080] 图像获取模块602,用于获取待处理图像。
[0081] 信息获取模块604,用于检测所述待处理图像中的人脸区域,并获取所述人脸区域对应的物理距离信息。
[0082] 背景虚化模块606,用于根据所述物理距离信息获取背景虚化强度,并根据所述背景虚化强度对所述待处理图像中的背景区域进行虚化处理。
[0083] 上述图像虚化装置,首先检测待处理图像中的人脸区域,并根据人脸区域的物理距离信息来获取背景区域的虚化强度,然后根据虚化强度对背景区域进行虚化处理。物理距离信息可以反映人脸与镜头的距离,距离不同获取的虚化强度也不同,虚化程度随物理距离信息的改变而改变,使得虚化处理的效果能够适应不同的拍摄场景,虚化处理更加精确。
[0084] 图7为另一个实施例中图像虚化装置的结构示意图。该图像虚化装置700包括图像获取模块702、信息获取模块704、背景虚化模块706、区域获取模块708、参数获取模块710和人像虚化模块712。其中:
[0085] 图像获取模块702,用于获取待处理图像。
[0086] 信息获取模块704,用于检测所述待处理图像中的人脸区域,并获取所述待处理图像中各个人脸区域对应的物理距离信息。
[0087] 背景虚化模块706,用于根据所述物理距离信息获取背景虚化强度,并根据所述背景虚化强度对所述待处理图像中的背景区域进行虚化处理。
[0088] 区域获取模块708,用于获取各个人脸区域对应的区域面积,将区域面积最大的人脸区域作为基础区域,并将除基础区域之外的人脸区域作为人脸虚化区域。
[0089] 强度获取模块710,用于根据所述基础区域和人脸虚化区域对应的物理距离信息,获取人脸虚化区域对应的人像虚化强度。
[0090] 人像虚化模块712,用于根据所述人像虚化强度对所述人脸虚化区域对应的人像区域进行虚化处理。
[0091] 上述图像虚化装置,首先检测待处理图像中的人脸区域,并根据人脸区域的物理距离信息来获取背景区域的虚化强度,然后根据虚化强度对背景区域进行虚化处理。物理距离信息可以反映人脸与镜头的距离,距离不同获取的虚化强度也不同,虚化程度随物理距离信息的改变而改变,使得虚化处理的效果能够适应不同的拍摄场景,虚化处理更加精确。同时,将人脸区域划分为基础区域和人脸虚化区域,将不同的人脸区域做不同的虚化处理,进一步地提高了虚化处理的精确度。
[0092] 在另一个实施例中,信息获取模块704还用于检测所述待处理图像中的人脸区域,并获取所述人脸区域对应的物理距离信息
[0093] 在本申请提供的实施例中,背景虚化模块706还用于获取各个人脸区域对应的区域面积,根据所述物理距离信息和区域面积获取背景虚化强度,并根据所述背景虚化强度对所述待处理图像中的背景区域进行虚化处理。
[0094] 在一个实施例中,强度获取模块710还用于根据所述各个人脸区域对应的物理距离信息,获取所述待处理图像中各个人脸区域对应的人像虚化强度。
[0095] 在其中一个实施例中,人像虚化模块712用于根据所述人像虚化强度对所述人脸区域对应的人像区域进行虚化处理。
[0096] 上述图像虚化装置中各个模块的划分仅用于举例说明,在其他实施例中,可将图像虚化装置按照需要划分为不同的模块,以完成上述图像虚化装置的全部或部分功能。
[0097] 本发明实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质,当所述计算机可执行指令被一个或多个处理器执行时,使得所述处理器执行以下步骤:
[0098] 获取待处理图像;
[0099] 检测所述待处理图像中的人脸区域,并获取所述人脸区域对应的物理距离信息;
[0100] 根据所述物理距离信息获取背景虚化强度,并根据所述背景虚化强度对所述待处理图像中的背景区域进行虚化处理。
[0101] 在一个实施例中,被处理器执行的所述检测所述待处理图像中的人脸区域,并获取所述人脸区域对应的物理距离信息包括:
[0102] 检测所述待处理图像中的人脸区域,并获取所述待处理图像中各个人脸区域对应的物理距离信息。
[0103] 在本申请提供的其他实施例中,被处理器执行的所述根据所述物理距离信息获取背景虚化强度,并根据所述背景虚化强度对所述待处理图像中的背景区域进行虚化处理包括:
[0104] 获取各个人脸区域对应的区域面积,根据所述物理距离信息和区域面积获取背景虚化强度,并根据所述背景虚化强度对所述待处理图像中的背景区域进行虚化处理。
[0105] 在另一个实施例中,被处理器执行的所述方法还包括:
[0106] 根据所述各个人脸区域对应的物理距离信息,获取所述待处理图像中各个人脸区域对应的人像虚化强度;
[0107] 根据所述人像虚化强度对所述人脸区域对应的人像区域进行虚化处理。
[0108] 在其中一个实施例中,被处理器执行的所述方法还包括:
[0109] 获取各个人脸区域对应的区域面积,将区域面积最大的人脸区域作为基础区域,并将除基础区域之外的人脸区域作为人脸虚化区域;
[0110] 所述根据所述各个人脸区域对应的物理距离信息,获取所述待处理图像中各个人脸区域对应的人像虚化强度包括:
[0111] 根据所述基础区域和人脸虚化区域对应的物理距离信息,获取人脸虚化区域对应的人像虚化强度;
[0112] 所述根据所述人像虚化强度对所述人脸区域对应的人像区域进行虚化处理包括:
[0113] 根据所述人像虚化强度对所述人脸虚化区域对应的人像区域进行虚化处理。
[0114] 本发明实施例还提供一种计算机设备。上述计算机设备中包括图像处理电路,图像处理电路可以利用硬件和/或软件组件实现,可包括定义ISP(Image Signal Processing,图像信号处理)管线的各种处理单元。图8为一个实施例中图像处理电路的示意图。如图8所示,为便于说明,仅示出与本发明实施例相关的图像处理技术的各个方面。
[0115] 如图8所示,图像处理电路包括ISP处理器840和控制逻辑器850。成像设备810捕捉的图像数据首先由ISP处理器840处理,ISP处理器840对图像数据进行分析以捕捉可用于确定和/或成像设备810的一个或多个控制参数的图像统计信息。成像设备810可包括具有一个或多个透镜812和图像传感器814的照相机。图像传感器814可包括色彩滤镜阵列(如Bayer滤镜),图像传感器814可获取用图像传感器814的每个成像像素捕捉的光强度和波长信息,并提供可由ISP处理器840处理的一组原始图像数据。传感器820(如陀螺仪)可基于传感器820接口类型把采集的图像处理的参数(如防抖参数)提供给ISP处理器840。传感器820接口可以利用SMIA(Standard Mobile Imaging Architecture,标准移动成像架构)接口、其它串行或并行照相机接口、或上述接口的组合。
[0116] 此外,图像传感器814也可将原始图像数据发送给传感器820,传感器820可基于传感器820接口类型把原始图像数据提供给ISP处理器840进行处理,或者传感器820将原始图像数据存储到图像存储器830中。
[0117] ISP处理器840按多种格式逐个像素地处理原始图像数据。例如,每个图像像素可具有8、10、12或14比特的位深度,ISP处理器840可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中,图像处理操作可按相同或不同的位深度精度进行。
[0118] ISP处理器840还可从图像存储器830接收像素数据。例如,传感器820接口将原始图像数据发送给图像存储器830,图像存储器830中的原始图像数据再提供给ISP处理器840以供处理。图像存储器830可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器,并可包括DMA(Direct Memory Access,直接直接存储器存取)特征。
[0119] 当接收到来自图像传感器814接口或来自传感器820接口或来自图像存储器830的原始图像数据时,ISP处理器840可进行一个或多个图像处理操作,如时域滤波。ISP处理器840处理后的图像数据可发送给图像存储器830,以便在被显示之前进行另外的处理。ISP处理器840从图像存储器830接收处理数据,并对所述处理数据进行原始域中以及RGB和YCbCr颜色空间中的图像数据处理。处理后的图像数据可输出给显示器880,以供用户观看和/或由图形引擎或GPU(Graphics Processing Unit,图形处理器)进一步处理。此外,ISP处理器
840的输出还可发送给图像存储器830,且显示器880可从图像存储器830读取图像数据。在一个实施例中,图像存储器830可被配置为实现一个或多个帧缓冲器。此外,ISP处理器840的输出可发送给编码器/解码器870,以便编码/解码图像数据。编码的图像数据可被保存,并在显示于显示器880设备上之前解压缩。
[0120] ISP处理后的图像数据可发送给虚化模块860,以便在被显示之前对图像进行虚化处理。虚化模块860对图像数据虚化处理可包括根据物理距离信息获取背景虚化强度,并根据背景虚化强度对图像数据中的背景区域进行虚化处理等。虚化模块860将图像数据进行虚化处理后,可将虚化处理后的图像数据发送给编码器/解码器870,以便编码/解码图像数据。编码的图像数据可被保存,并在显示与显示器880设备上之前解压缩。可以理解的是,虚化模块860处理后的图像数据可以不经过编码器/解码器870,直接发给显示器880进行显示。ISP处理器840处理后的图像数据还可以先经过编码器/解码器870处理,然后再经过虚化模块860进行处理。其中,虚化模块860或编码器/解码器870可为移动终端中CPU(Central Processing Unit,中央处理器)或GPU(Graphics Processing Unit,图形处理器)等。
[0121] ISP处理器840确定的统计数据可发送给控制逻辑器850单元。例如,统计数据可包括自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、透镜812阴影校正等图像传感器814统计信息。控制逻辑器850可包括执行一个或多个例程(如固件)的处理器和/或微控制器,一个或多个例程可根据接收的统计数据,确定成像设备810的控制参数以及ISP处理器840的控制参数。例如,成像设备810的控制参数可包括传感器820控制参数(例如增益、曝光控制的积分时间、防抖参数等)、照相机闪光控制参数、透镜812控制参数(例如聚焦或变焦用焦距)、或这些参数的组合。ISP控制参数可包括用于自动白平衡和颜色调整(例如,在RGB处理期间)的增益水平和色彩校正矩阵,以及透镜812阴影校正参数。
[0122] 以下为运用图8中图像处理技术实现图像虚化方法的步骤:
[0123] 获取待处理图像;
[0124] 检测所述待处理图像中的人脸区域,并获取所述人脸区域对应的物理距离信息;
[0125] 根据所述物理距离信息获取背景虚化强度,并根据所述背景虚化强度对所述待处理图像中的背景区域进行虚化处理。
[0126] 在一个实施例中,所述检测所述待处理图像中的人脸区域,并获取所述人脸区域对应的物理距离信息包括:
[0127] 检测所述待处理图像中的人脸区域,并获取所述待处理图像中各个人脸区域对应的物理距离信息。
[0128] 在本申请提供的其他实施例中,所述根据所述物理距离信息获取背景虚化强度,并根据所述背景虚化强度对所述待处理图像中的背景区域进行虚化处理包括:
[0129] 获取各个人脸区域对应的区域面积,根据所述物理距离信息和区域面积获取背景虚化强度,并根据所述背景虚化强度对所述待处理图像中的背景区域进行虚化处理。
[0130] 在另一个实施例中,所述方法还包括:
[0131] 根据所述各个人脸区域对应的物理距离信息,获取所述待处理图像中各个人脸区域对应的人像虚化强度;
[0132] 根据所述人像虚化强度对所述人脸区域对应的人像区域进行虚化处理。
[0133] 在其中一个实施例中,所述方法还包括:
[0134] 获取各个人脸区域对应的区域面积,将区域面积最大的人脸区域作为基础区域,并将除基础区域之外的人脸区域作为人脸虚化区域;
[0135] 所述根据所述各个人脸区域对应的物理距离信息,获取所述待处理图像中各个人脸区域对应的人像虚化强度包括:
[0136] 根据所述基础区域和人脸虚化区域对应的物理距离信息,获取人脸虚化区域对应的人像虚化强度;
[0137] 所述根据所述人像虚化强度对所述人脸区域对应的人像区域进行虚化处理包括:
[0138] 根据所述人像虚化强度对所述人脸虚化区域对应的人像区域进行虚化处理。
[0139] 本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一非易失性计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)等。
[0140] 以上所述实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。