图像处理方法、装置、存储介质及电子设备转让专利

申请号 : CN201910282440.3

文献号 : CN111798367A

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 陈仲铭何明

申请人 : OPPO广东移动通信有限公司

摘要 :

本申请实施例公开了一种图像处理方法、装置、存储介质及电子设备。该方法包括:获取第一图像;从该第一图像中确定出人脸图像,并确定出该人脸图像对应的属性信息;根据该属性信息,获取第二图像;利用该第二图像对该第一图像中的该人脸图像进行图像美化处理。本申请实施例可以提高电子设备进行图像美化处理的自动化程度。

权利要求 :

1.一种图像处理方法,其特征在于,包括:

获取第一图像;

从所述第一图像中确定出人脸图像,并确定出所述人脸图像对应的属性信息;

根据所述属性信息,获取第二图像;

利用所述第二图像对所述第一图像中的所述人脸图像进行图像美化处理。

2.根据权利要求1所述的图像处理方法,其特征在于,所述确定出所述人脸图像对应的属性信息,包括:确定出所述人脸图像对应的属性信息,所述属性信息至少包括所述人脸图像对应的性别信息、年龄信息、脸型信息、发型信息、情绪信息以及所在场景信息。

3.根据权利要求2所述的图像处理方法,其特征在于,在所述根据所述属性信息,获取第二图像之前,还包括:获取风格信息,所述风格信息为预先选取的关于图像美化风格的信息;

所述根据所述属性信息,获取第二图像,包括:根据所述属性信息以及所述风格信息,获取第二图像。

4.根据权利要求3所述的图像处理方法,其特征在于,在所述根据所述属性信息以及所述风格信息,获取第二图像之前,还包括:获取用户类别信息;

所述根据所述属性信息以及所述风格信息,获取第二图像,包括:根据所述属性信息、所述风格信息以及所述用户类别信息,获取第二图像。

5.根据权利要求4所述的图像处理方法,其特征在于,根据所述属性信息、所述风格信息以及所述用户类别信息,获取第二图像,包括:将各所述属性信息、所述风格信息以及所述用户类别信息均转化为对应的特征张量;

对转化得到的各特征张量进行合并处理,得到目标特征张量;

对所述目标特征张量进行聚类处理,确定出所述目标特征张量对应的目标数据簇;

从预设图像数据库中,查找与所述目标数据簇对应的图像,其中所述预设图像数据库中存储有不同的数据簇及各数据簇对应的图像;

将查找到的与所述目标数据簇对应的图像确定为第二图像。

6.根据权利要求4所述的图像处理方法,其特征在于,所述获取用户类别信息,包括:获取应用开启行为历史数据;

根据所述应用开启行为历史数据,确定用户类别信息。

7.一种图像处理装置,其特征在于,包括:

第一获取模块,用于获取第一图像;

确定模块,用于从所述第一图像中确定出人脸图像,并确定出所述人脸图像对应的属性信息;

第二获取模块,用于根据所述属性信息,获取第二图像;

处理模块,用于利用所述第二图像对所述第一图像中的所述人脸图像进行图像美化处理。

8.根据权利要求7所述的图像处理装置,其特征在于,所述确定模块用于:确定出所述人脸图像对应的属性信息,所述属性信息至少包括所述人脸图像对应的性别信息、年龄信息、脸型信息、发型信息、情绪信息以及所在场景信息。

9.一种存储介质,其上存储有计算机程序,其特征在于,当所述计算机程序在计算机上执行时,使得所述计算机执行如权利要求1至6中任一项所述的方法。

10.一种电子设备,包括存储器,处理器,其特征在于,所述处理器通过调用所述存储器中存储的计算机程序,用于执行如权利要求1至6中任一项所述的方法。

说明书 :

图像处理方法、装置、存储介质及电子设备

技术领域

[0001] 本申请属于图像技术领域,尤其涉及一种图像处理方法、装置、存储介质及电子设备。

背景技术

[0002] 随着图像处理技术的不断发展,用户可以使用电子设备对图像进行各种美化。比如,电子设备可以将一些预先设置的图像贴附或者融合到另一图像上,从而使该另一图像更加具有趣味性。然而,相关技术中,电子设备在将预先设置的图像贴附或者融合到另一图像以对该另一图像进行美化处理时其自动化程度较低。

发明内容

[0003] 本申请实施例提供一种图像处理方法、装置、存储介质及电子设备,可以提高电子设备进行图像美化处理的自动化程度。
[0004] 本申请实施例提供一种图像处理方法,包括:
[0005] 获取第一图像;
[0006] 从所述第一图像中确定出人脸图像,并确定出所述人脸图像对应的属性信息;
[0007] 根据所述属性信息,获取第二图像;
[0008] 利用所述第二图像对所述第一图像中的所述人脸图像进行图像美化处理。
[0009] 本申请实施例提供一种图像处理装置,包括:
[0010] 第一获取模块,用于获取第一图像;
[0011] 确定模块,用于从所述第一图像中确定出人脸图像,并确定出所述人脸图像对应的属性信息;
[0012] 第二获取模块,用于根据所述属性信息,获取第二图像;
[0013] 处理模块,用于利用所述第二图像对所述第一图像中的所述人脸图像进行图像美化处理。
[0014] 本申请实施例提供一种存储介质,其上存储有计算机程序,当所述计算机程序在计算机上执行时,使得所述计算机执行本申请实施例提供的图像处理方法中的流程。
[0015] 本申请实施例还提供一种电子设备,包括存储器,处理器,所述处理器通过调用所述存储器中存储的计算机程序,用于执行本申请实施例提供的图像处理方法中的流程。
[0016] 本申请实施例中,电子设备可以根据待美化的第一图像中的人脸图像对应的属性信息自动地获取第二图像,并利用该第二图像对第一图像中的人脸图像进行美化处理。由于本实施例可以自动地获取用于美化的第二图像,而无需用户人工选择用于进行美化的图像,因此本实施例可以减少人脸图像美化处理中的人工操作,提高图像美化处理的自动化程度。

附图说明

[0017] 下面结合附图,通过对本申请的具体实施方式详细描述,将使本申请的技术方案及其有益效果显而易见。
[0018] 图1是本申请实施例提供的电子设备的全景感知架构的示意图。
[0019] 图2是本申请实施例提供的图像处理方法的流程示意图。
[0020] 图3是本申请实施例提供的图像处理方法的另一流程示意图。
[0021] 图4至图6是本申请实施例提供的图像处理方法的场景示意图。
[0022] 图7是本申请实施例提供的图像处理装置的结构示意图。
[0023] 图8是本申请实施例提供的电子设备的结构示意图。
[0024] 图9是本申请实施例提供的电子设备的另一结构示意图。

具体实施方式

[0025] 请参照图示,其中相同的组件符号代表相同的组件,本申请的原理是以实施在一适当的运算环境中来举例说明。以下的说明是基于所例示的本申请具体实施例,其不应被视为限制本申请未在此详述的其它具体实施例。
[0026] 请参考图1,图1为本申请实施例提供的数据收集方法的应用场景示意图。该数据收集方法可以应用于电子设备。该电子设备中设置有全景感知架构。该全景感知架构为电子设备中用于实现该数据收集方法的硬件和软件的集成。
[0027] 其中,全景感知架构包括信息感知层、数据处理层、特征抽取层、情景建模层以及智能服务层。
[0028] 信息感知层用于获取电子设备自身的信息或者外部环境中的信息。该信息感知层可以包括多个传感器。例如,该信息感知层包括距离传感器、磁场传感器、光线传感器、加速度传感器、指纹传感器、霍尔传感器、位置传感器、陀螺仪、惯性传感器、姿态感应器、气压计、心率传感器等多个传感器。
[0029] 其中,距离传感器可以用于检测电子设备与外部物体之间的距离。磁场传感器可以用于检测电子设备所处环境的磁场信息。光线传感器可以用于检测电子设备所处环境的光线信息。加速度传感器可以用于检测电子设备的加速度数据。指纹传感器可以用于采集用户的指纹信息。霍尔传感器是根据霍尔效应制作的一种磁场传感器,可以用于实现电子设备的自动控制。位置传感器可以用于检测电子设备当前所处的地理位置。陀螺仪可以用于检测电子设备在各个方向上的角速度。惯性传感器可以用于检测电子设备的运动数据。姿态感应器可以用于感应电子设备的姿态信息。气压计可以用于检测电子设备所处环境的气压。心率传感器可以用于检测用户的心率信息。
[0030] 数据处理层用于对信息感知层获取到的数据进行处理。例如,数据处理层可以对信息感知层获取到的数据进行数据清理、数据集成、数据变换、数据归约等处理。
[0031] 其中,数据清理是指对信息感知层获取到的大量数据进行清理,以剔除无效数据和重复数据。数据集成是指将信息感知层获取到的多个单维度数据集成到一个更高或者更抽象的维度,以对多个单维度的数据进行综合处理。数据变换是指对信息感知层获取到的数据进行数据类型的转换或者格式的转换等,以使变换后的数据满足处理的需求。数据归约是指在尽可能保持数据原貌的前提下,最大限度的精简数据量。
[0032] 特征抽取层用于对数据处理层处理后的数据进行特征抽取,以提取该数据中包括的特征。提取到的特征可以反映出电子设备自身的状态或者用户的状态或者电子设备所处环境的环境状态等。
[0033] 其中,特征抽取层可以通过过滤法、包装法、集成法等方法来提取特征或者对提取到的特征进行处理。
[0034] 过滤法是指对提取到的特征进行过滤,以删除冗余的特征数据。包装法用于对提取到的特征进行筛选。集成法是指将多种特征提取方法集成到一起,以构建一种更加高效、更加准确的特征提取方法,用于提取特征。
[0035] 情景建模层用于根据特征抽取层提取到的特征来构建模型,所得到的模型可以用于表示电子设备的状态或者用户的状态或者环境状态等。例如,情景建模层可以根据特征抽取层提取到的特征来构建关键值模型、模式标识模型、图模型、实体联系模型、面向对象模型等。
[0036] 智能服务层用于根据情景建模层所构建的模型为用户提供智能化的服务。例如,智能服务层可以为用户提供基础应用服务,可以为电子设备进行系统智能优化,还可以为用户提供个性化智能服务。
[0037] 此外,全景感知架构中还可以包括多种算法,每一种算法都可以用于对数据进行分析处理,该多种算法可以构成算法库。例如,该算法库中可以包括马尔科夫算法、隐含狄里克雷分布算法、贝叶斯分类算法、支持向量机、K均值聚类算法、K近邻算法、条件随机场、残差网络、长短期记忆网络、卷积神经网络、循环神经网络等算法。
[0038] 可以理解的是,本申请实施例的执行主体可以是诸如智能手机或平板电脑等的电子设备。
[0039] 请参阅图2,图2是本申请实施例提供的图像处理方法的流程示意图,流程可以包括:
[0040] 在101中,获取第一图像。
[0041] 随着图像处理技术的不断发展,用户可以使用电子设备对图像进行各种美化。比如,电子设备可以将一些预先设置的图像贴附或者融合到另一图像上,从而使该另一图像更加具有趣味性。然而,相关技术中,电子设备在将预先设置的图像贴附或者融合到另一图像以对该另一图像进行美化处理时其自动化程度较低。比如,当对图像A进行美化处理时,用户需要先选取出用于美化处理的图像B,然后再由电子设备将图像B贴附或者融合到图像A中,从而对图像A进行美化处理,即需要用户进行较多的人工操作,自动化程度较低。
[0042] 在本申请实施例的101中,比如,电子设备可以先获取待美化处理的第一图像。其中,该第一图像可以是包含人脸的图像。
[0043] 在102中,从第一图像中确定出人脸图像,并确定出该人脸图像对应的属性信息。
[0044] 比如,在获取到待美化处理的第一图像后,电子设备可以从该第一图像中确定出人脸图像。之后,电子设备可以确定出该人脸图像对应的属性信息。
[0045] 需要说明的是,上述属性信息可以是根据人脸图像确定出来的该人脸图像对应的用户的相关属性,如性别、年龄、情绪等等,可以理解的是,此处举例不构成对本实施例的限定。
[0046] 在103中,根据属性信息,获取第二图像。
[0047] 比如,在确定出第一图像中的人脸图像对应的属性信息后,电子设备可以根据该属性信息获取第二图像。该第二图像也就是用于对第一图像进行美化处理的图像。
[0048] 在104中,利用第二图像对第一图像中的人脸图像进行图像美化处理。
[0049] 比如,在获取到第二图像后,电子设备可以根据该第二图像自动对第一图像中的人脸图像进行图像美化处理。例如,电子设备可以将该第二图像贴附或者融合到第一图像中的人脸图像上,从而对该人脸图像进行美化处理。
[0050] 例如,电子设备根据人脸图像对应的属性信息获取到的第二图像包括一对手绘风格的猫耳朵以及一对同样是手绘风格的猫须。那么,电子设备可以将第二图像中的手绘风格的猫耳朵贴附到第一图像的人脸图像的头上,将手绘风格的猫须贴附到第一图像的人脸图像的嘴边,从而使第一图像中的人脸具有更可爱的视觉效果,即对第一图像中的人脸图像进行了美化处理。
[0051] 可以理解的是,本申请实施例中,电子设备可以根据待美化的第一图像中的人脸图像对应的属性信息自动地获取第二图像,并利用该第二图像对第一图像中的人脸图像进行美化处理。由于本实施例可以自动地获取用于美化的第二图像,而无需用户人工选择用于进行美化的图像,因此本实施例可以减少人脸图像美化处理中的人工操作,提高图像美化处理的自动化程度。
[0052] 需要说明的是,本实施例提供的图像处理方法可以应用于图1所示的全景感知架构中的智能服务层。电子设备可以通过信息感知层收集数据,收集到的数据可以被输入到数据处理层中进行处理,经数据处理层处理的数据可以被输入到特征提取层进行特征提取,得到特征数据。情景建模层则可以对特征数据进行建模,从而识别出当前场景。经建模得到的数据可以被输入到智能服务层,智能服务层可以根据该数据为电子设备的用户提供智能服务。本实施例提供的图像处理方法可以使电子设备自动获取用于进行人脸美化的图像(该用于进行人脸美化的图像可以和经情景建模层识别的当前场景等相关),而无需用户人工选择用于进行美化的图像,因此本实施例可以更好地为用户提供智能服务。
[0053] 请参阅图3,图3为本申请实施例提供的图像处理方法的另一流程示意图,流程可以包括:
[0054] 在201中,电子设备获取第一图像。
[0055] 比如,电子设备可以先获取待美化处理的第一图像。其中,该第一图像可以是包含人脸的图像。
[0056] 在202中,电子设备从第一图像中确定出人脸图像,并确定出该人脸图像对应的属性信息,该属性信息至少包括该人脸图像对应的性别信息、年龄信息、脸型信息、发型信息、情绪信息以及所在场景信息。
[0057] 比如,在获取到待美化处理的第一图像后,电子设备可以从该第一图像中确定出人脸图像。之后,电子设备可以确定出该人脸图像对应的属性信息。其中,该人脸图像对应的属性信息至少可以包括该人脸图像对应的用户的性别信息、年龄信息、脸型信息、发型信息、情绪信息,以及所在场景的场景信息等。
[0058] 在一些实施方式中,流程201中获取的第一图像可以是用户从电子设备的相册中选取的(事先已拍摄好的)图片,也可以是利用电子设备的相机应用刚刚拍摄得到的图片,还可以是利用电子设备的相机应用的实时预览功能获取到的图像帧。在流程202中,电子设备可以使用已经学习训练好的卷积神经网络从第一图像中确定出人脸图像。例如,电子设备可以将第一图像输入到该卷积神经网络中,该卷积神经网络可以输出人脸在该第一图像中的位置,通过该人脸在第一图像中的位置即可从第一图像中确定出人脸图像。在一种实施方式中,该卷积神经网络可以为轻量级的神经网络模型(Mini Neural Network,也称微型神经网络)。轻量级的神经网络模型是指所需要的参数数量较少和计算代价较小的神经网络模型。在对轻量级的神经网络模型进行学习训练时,用于训练的样本可以是包含人脸的图像,以及人脸的边框(bounding box)的4个坐标位置信息(x,y,w,h)和人脸置信度c,通过softmax回归的方法输出人脸在图像中的位置。其中,(x,y,w,h)分别对应边框的左上角坐标(x,y)以及右下角坐标相对左上角坐标的偏移(w,h)。而人脸置信度c则表示坐标位置信息(x,y,w,h)对应的位置为人脸位置的概率。其中,人脸置信度c的取值范围为[0,1]。
[0059] 在一些实施方式中,202中确定出人脸图像对应的属性信息的流程可以包括:将人脸图像作为经过学习训练的多任务卷积神经网络模型的输入,该多任务卷积神经网络模型的输出可以包括该人脸图像对应的性别信息、年龄信息、脸型信息、发型信息、情绪信息。其中,性别信息为男或女,年龄信息为一个数值,脸型信息可以为国字脸、瓜子脸、圆脸等类型,发型信息可以为平头、卷发、长发、短发、刘海等信息,情绪信息可以为开心、愤怒、悲伤、平静等信息。其中,不同的信息可以用不同的数字来表示,例如性别信息中性别为男可以用数字1表示,性别为女可以用数字2表示。脸型信息中的国字脸可以用数字1表示,瓜子脸可以用数字2表示,圆脸可以用数字3表示等等。发型信息中的平台可以用数字1表示,长发可以用数字2表示,短发可以用数字3表示,刘海可以用数字4表示,等等。情绪信息中的开心可以用数字2表示,分女可以用数字2表示,悲伤可以用数字3表示,平静可以用数字4表示,等等。那么,例如,将第一图像中的人脸图像输入到多任务卷积神经网络模型中,输出结果为性别信息为1,年龄信息为30,脸型信息为1,发型信息为1,情绪信息为1。该输出结果表示该人脸图像对应的用户为男性用户,其年龄为30,脸型为国字脸,发型为平台,情绪为开心。
[0060] 在一种实施方式中,场景信息也可以使用经过学习训练好的神经网络模型来识别。例如,电子设备可以将第一图像输入至该经过学习训练的神经网络模型中,该神经网络模型的输出可以为第一图像对应的拍摄场景,从而得到对应的场景信息。
[0061] 在另一种实施方式中,如果第一图像是用户使用电子设备中的相机应用当前拍摄得到的图像或者是通过相机应用中的实时预览功能获取到的图像帧,那么电子设备可以通过麦克风采集当前环境下的声音片段,通过对该声音片段的分析可以确定出用户当前所在的场景,从而得到场景信息(例如安静或者喧闹等)。例如,电子设备可以通过离散傅氏变换的快速算法(Fast Fourier Transformation,FFT)或者梅尔频率倒谱系数(Mel Frequency Cepstrum Coefficient,MFCC)将麦克风采集到的声音信号转化为频谱能量图,通过卷积神经网络或者循环神经网络对频谱数据进行前馈计算,得到用户所在的场景信息。
[0062] 在203中,电子设备获取风格信息,该风格信息为预先选取的关于图像美化风格的信息。
[0063] 比如,在确定出人脸图像对应的属性信息后,电子设备可以获取风格信息,该风格信息可以为用户预先选取的关于图像美化风格的信息。比如,电子设备中预先设置有绘本风格、油画风格、水墨风格等风格信息。当用户使用电子设备中的相机时,电子设备可以询问用户使用何种风格来对图像进行美化。例如用户选取的是绘本风格,那么在203中电子设备获取的风格信息即为绘本风格。
[0064] 需要说明的是,绘本风格是用于对第一图像进行美化的图像在视觉效果上呈现手绘图画的效果。油画风格是用于对第一图像进行美化的图像在视觉效果上呈现油画的效果。而二次元风格则是用于对第一图像进行美化的图像在视觉效果上呈现水墨画的效果,等等。
[0065] 在204中,电子设备获取用户类别信息。
[0066] 比如,在获取到人脸图像对应的属性信息,以及风格信息后,电子设备可以获取用户类别信息。
[0067] 在一种实施方式中,用户类别信息可以包括诸如游戏爱好用户、动漫爱好用户、自拍爱好用户等。需要说明的是,游戏爱好用户这一类别的用户为爱好玩游戏的用户。动漫爱好用户这一类别的用户为喜欢观看动漫的用户。自拍爱好用户这一类别的用户为喜欢自拍的用户,等等。
[0068] 在一些实施方式中,电子设备可以通过如下方式来获取用户类别信息:
[0069] 电子设备获取应用开启行为历史数据;
[0070] 根据该应用开启行为历史数据,电子设备确定用户类别信息。
[0071] 比如,电子设备可以通过其所安装的应用的类型来确定用户类别信息。比如,应用在应用商店(应用下载平台)都有对应的类别。电子设备可以获取用户开启应用的应用开启行为历史数据,该应用开启行为历史数据中可以包含被开启应用在应用下载平台上所对应的类别,再将该应用开启行为历史数据作为输入,输入到经过学习训练的循环神经网络模型或者分类模型(如贝叶斯分类模型等)中,经过学习训练的模型的输出即为电子设备的用户对应的用户类别信息。
[0072] 例如,用户甲经常开启游戏类别的应用,那么将该用户甲的应用开启行为历史数据输入到经过学习训练的算法模型中,该算法模型输出的分类结果为游戏爱好用户,则电子设备可以将游戏爱好用户确定为用户甲的用户类别信息。又如,用户乙经常开启相机以及美颜类别的应用,那么将该用户乙的应用开启行为历史数据输入到经过学习训练的算法模型中,该算法模型输出的分类结果为自拍爱好用户,则电子设备可以将自拍爱好用户确定为用户乙的用户类别信息,等等。
[0073] 在205中,电子设备将各属性信息、风格信息以及用户类别信息均转化为对应的特征张量。
[0074] 在206中,电子设备对转化得到的各特征张量进行合并处理,得到目标特征张量。
[0075] 比如,205和206可以包括:
[0076] 在获取到人脸图像对应的属性信息、风格信息以及用户类别信息后,电子设备可以将各属性信息、风格信息以及用户类别信息均转化为对应的特征张量。
[0077] 例如,第一图像中人脸图像对应的属性信息包括性别信息、年龄信息、脸型信息、发型信息、情绪信息,以及所在场景的场景信息,风格信息为绘本风格,用户类别信息为漫画爱好用户,那么电子设备可以性别信息转化为对应的特征张量t1,将年龄信息转化为对应的特征张量t2,将脸型信息转化为对应的特征张量t3,将发型信息转化为对应的特征张量t4,将情绪信息转化为对应的特征张量t5,将所在的场景信息转化为对应的特征张量t6,将绘本风格信息转化为对应的特征张量t7,将漫画爱好用户类别信息转化为对应的特征张量t8。之后,电子设备可以将转化得到的各特征张量进行合并处理,得到合并后的一个特征张量T,该特征张量T为目标特征张量。例如目标特征张量可以表示为T={t1,t2,t3,t4,t5,t6,t7,t8}。
[0078] 在207中,电子设备对目标特征张量进行聚类处理,确定出目标特征张量对应的目标数据簇。
[0079] 比如,在得到目标特征张量T后,电子设备可以对该目标特征张量T进行聚类处理,从而确定出该目标特征张量T对应的目标数据簇。例如,电子设备可以利用诸如K-MEANS、K-MEDOIDS、Clara、Clarans等聚类算法对该目标特征张量T进行聚类运算,从而确定出该目标特征张量T对应的目标数据簇。
[0080] 需要说明的是,聚类是指将物理或抽象对象的集合分成由类似的对象组成的多个类的过程。由聚类所生成的簇是一组数据对象的集合,这些对象与同一个簇中的对象彼此相似,与其他簇中的对象相异。因此,对目标特征张进行聚类处理后可以得到该目标特征张量对应的目标数据簇。
[0081] 在208中,电子设备从预设图像数据库中查找与目标数据簇对应的图像,其中预设图像数据库中存储有不同的数据簇及各数据簇对应的图像。
[0082] 比如,在得到目标特征张量对应的数据簇后,电子设备可以从预设图像数据库中查找与该目标数据簇对应的图像。其中,该预设图像数据库中存储有不同的数据簇及与各数据簇对应的图像。
[0083] 例如,预设图像数据库中存储有数据簇H、J、K、L、M、N,其中与数据簇H对应的图像为p1、p2,与数据簇J对应的图像为p3、p4,与数据簇K对应的图像为p5、p6,与数据簇L对应的图像为p7、p8,与数据簇M对应的图像为p9、p10,与数据簇N对应的图像为p11、p12。例如,目标特征张量T经聚类处理后确定出的目标数据簇为H,那么电子设备可以在预设图像数据库中查找与数据簇H对应的图像。
[0084] 在209中,电子设备将查找到的与目标数据簇对应的图像确定为第二图像。
[0085] 比如,电子设备查找到与目标数据簇H对应的图像包括p1、p2,那么电子设备可以将p1、p2中的任一图像确定为第二图像。该第二图像为用于对第一图像中的人脸图像进行美化处理的图像。
[0086] 在210中,电子设备利用第二图像对第一图像中的人脸图像进行图像美化处理。
[0087] 比如,电子设备将图像p1确定为第二图像,那么电子设备可以利用图像p1来对第一图像中的人脸图像进行图像美化处理。
[0088] 例如,图像p1为绘本风格的猫耳朵和猫须的漫画,那么电子设备可以将该绘本风格的猫耳朵的漫画贴附到第一图像中的人脸图像的头上,将该绘本风格的猫须的漫画贴附到第一图像中的人脸图像的嘴边,从而使第一图像看起来更加可爱。即对第一图像中的人脸图像进行了美化处理。
[0089] 可以理解的是,本实施例中,电子设备可以获取待美化处理的第一图像中的人脸图像对应的性别信息、年龄信息、脸型信息、发型信息、情绪信息和场景信息,以及用于美化的风格信息和用户类别信息。然后,电子设备可以对这些信息进行聚类处理,并根据该聚类处理自动地获取用于美化处理的第二图像,再利用该第二图像对第一图像中的人脸图像进行美化处理。因此,本实施例可以减少人脸图像美化处理中的人工操作,提高图像美化处理的自动化程度。
[0090] 在一些实施方式中,在208的流程中,如果电子设备从预设图像数据库中查找到多个与目标数据簇对应的图像,那么电子设备可以将其中任意一个图像确定为与该目标数据簇对应的第二图像。
[0091] 请参阅图4至图6,图4至图6为本申请实施例提供的图像处理方法的场景示意图。
[0092] 比如,用户打开电子设备的相机应用。用户使用该电子设备的相机应用拍摄得到一张自拍的图像(第一图像)。之后,用户点击了“贴纸”功能。此时,电子设备可以获取该第一图像,电子设备的界面可以如图4所示。
[0093] 之后,电子设备可以从该第一图像中确定出人脸图像,并确定该人脸图像对应的用户的性别信息、年龄信息、脸型信息、发型信息、情绪信息。例如,利用经过深度学习的神经网络模型,电子设备确定出该人脸图像对应的用户的性别为男,年龄30,脸型为椭圆脸,发型为平头,情绪为开心。并且,电子设备可以通过麦克风采集当前的周围环境的声音片段,如图5所示,并通过该声音片段分析当前所在的场景。例如,电子设备分析出当前所在的场景为安静场景。
[0094] 在获取到上述这些信息后,电子设备可以将这些信息转化为对应的特征张量信息。例如,电子设备将性别信息转化为特征张量t1,将年龄信息转化为特征张量t2,将脸型信息转化为特征张量t3,将发型信息转化为特征张量t4,将情绪信息转化为特征张量t5,将场景信息转化为特征张量t6。
[0095] 之后,电子设备可以对转化得到的各特征张量t1、t2、t3、t4、t5、t6进行合并处理,得到目标特征张量T。例如,目标特征张量T={t1,t2,t3,t4,t5,t6}。在得到目标特征张量T后,电子设备可以对该目标特征张量T进行聚类处理,从而确定出该目标特征张量对应数据簇,即目标数据簇。然后,电子设备可以从预设图像数据库中查找与该目标数据簇对应的图像。其中,该预设图像数据库中存储有不同的数据簇及与各数据簇对应的图像。
[0096] 例如,电子设备从预设图像数据库中查找到与目标数据簇对应的图像包括w1、w2、w3、w4、w5、w6。那么,电子设备可以从这6张图像w1、w2、w3、w4、w5、w6中随机选取一张图像作为用于美化处理的第二图像。例如,电子设备可以将图像w1确定为第二图像,图像w1包括绘本风格的猫耳朵和猫须。那么,电子设备可以将该绘本风格的猫耳朵贴附到第一图像中的人脸图像的头上,将该绘本风格的猫须贴附到第一图像中的人脸图像的嘴边,从而使第一图像看起来更加可爱。即对第一图像中的人脸图像进行了美化处理,如图6所示。
[0097] 在另一种实施方式中,当从预设图像数据库中查找到有多张与目标数据簇对应的图像时,电子设备也可以利用与目标数据簇对应的图像,逐个地对人脸图像进行美化处理,并将美化处理后的图像展示给用户查看,由用户选择具体采用哪一美化后的图像。例如,电子设备可以先采用图像w1来对人脸图像进行美化,并将美化后的图像r1展示给用户查看,若用户喜欢这一美化效果,则可以选择采用这一美化后的图像r1。若用户不喜欢这一美化效果,则电子设备可以先采用图像w2来对人脸图像进行美化,并将美化后的图像r2展示给用户查看。若用户仍然不喜欢采用w2图像美化后的效果,则电子设备可以再使用另一图像来对人脸图像进行美化,直至用户选到了满意的美化效果的图像,或者所有第二图像的美化效果均展示完毕。
[0098] 请参阅图7,图7为本申请实施例提供的图像处理装置的结构示意图。图像处理装置300可以包括:第一获取模块301,确定模块302,第二获取模块303,处理模块304。
[0099] 第一获取模块301,用于获取第一图像。
[0100] 确定模块302,用于从所述第一图像中确定出人脸图像,并确定出所述人脸图像对应的属性信息。
[0101] 第二获取模块303,用于根据所述属性信息,获取第二图像。
[0102] 处理模块304,用于利用所述第二图像对所述第一图像中的所述人脸图像进行图像美化处理。
[0103] 在一种实施方式中,所述确定模块302可以用于:
[0104] 确定出所述人脸图像对应的属性信息,所述属性信息至少包括所述人脸图像对应的性别信息、年龄信息、脸型信息、发型信息、情绪信息以及所在场景信息。
[0105] 在一种实施方式中,所述第二获取模块303还用于:获取风格信息,所述风格信息为预先选取的关于图像美化风格的信息。
[0106] 那么,所述第二获取模块303可以用于:根据所述属性信息以及所述风格信息,获取第二图像。
[0107] 在一种实施方式中,所述第二获取模块303还可以用于:获取用户类别信息。
[0108] 那么,所述第二获取模块303可以用于:根据所述属性信息、所述风格信息以及所述用户类别信息,获取第二图像。
[0109] 在一种实施方式中,所述第二获取模块303可以用于:
[0110] 将各所述属性信息、所述风格信息以及所述用户类别信息均转化为对应的特征张量;
[0111] 对转化得到的各特征张量进行合并处理,得到目标特征张量;
[0112] 对所述目标特征张量进行聚类处理,确定出所述目标特征张量对应的目标数据簇;
[0113] 从预设图像数据库中,查找与所述目标数据簇对应的图像,其中所述预设图像数据库中存储有不同的数据簇及各数据簇对应的图像;
[0114] 将查找到的与所述目标数据簇对应的图像确定为第二图像。
[0115] 在一种实施方式中,所述第二获取模块303可以用于:
[0116] 获取应用开启行为历史数据;
[0117] 根据所述应用开启行为历史数据,确定用户类别信息。
[0118] 本申请实施例提供一种计算机可读的存储介质,其上存储有计算机程序,当所述计算机程序在计算机上执行时,使得所述计算机执行如本实施例提供的图像处理方法中的流程。
[0119] 本申请实施例还提供一种电子设备,包括存储器,处理器,所述处理器通过调用所述存储器中存储的计算机程序,用于执行本实施例提供的图像处理方法中的流程。
[0120] 例如,上述电子设备可以是诸如平板电脑或者智能手机等移动终端。请参阅图8,图8为本申请实施例提供的电子设备的结构示意图。
[0121] 该电子设备400可以包括传感器401、存储器402、处理器403等部件。本领域技术人员可以理解,图8中示出的电子设备结构并不构成对电子设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
[0122] 传感器401可以包括陀螺仪传感器(例如三轴陀螺仪传感器)、加速度传感器等传感器。
[0123] 存储器402可用于存储应用程序和数据。存储器402存储的应用程序中包含有可执行代码。应用程序可以组成各种功能模块。处理器403通过运行存储在存储器402的应用程序,从而执行各种功能应用以及数据处理。
[0124] 处理器403是电子设备的控制中心,利用各种接口和线路连接整个电子设备的各个部分,通过运行或执行存储在存储器402内的应用程序,以及调用存储在存储器402内的数据,执行电子设备的各种功能和处理数据,从而对电子设备进行整体监控。
[0125] 在本实施例中,电子设备中的处理器403会按照如下的指令,将一个或一个以上的应用程序的进程对应的可执行代码加载到存储器402中,并由处理器403来运行存储在存储器402中的应用程序,从而执行:
[0126] 获取第一图像;
[0127] 从所述第一图像中确定出人脸图像,并确定出所述人脸图像对应的属性信息;
[0128] 根据所述属性信息,获取第二图像;
[0129] 利用所述第二图像对所述第一图像中的所述人脸图像进行图像美化处理。
[0130] 请参阅图9,电子设备500可以包括传感器501、存储器502、处理器503、显示屏504、扬声器505、麦克风506等部件。
[0131] 传感器501可以包括陀螺仪传感器(例如三轴陀螺仪传感器)、加速度传感器等传感器。
[0132] 存储器502可用于存储应用程序和数据。存储器502存储的应用程序中包含有可执行代码。应用程序可以组成各种功能模块。处理器503通过运行存储在存储器502的应用程序,从而执行各种功能应用以及数据处理。
[0133] 处理器503是电子设备的控制中心,利用各种接口和线路连接整个电子设备的各个部分,通过运行或执行存储在存储器502内的应用程序,以及调用存储在存储器502内的数据,执行电子设备的各种功能和处理数据,从而对电子设备进行整体监控。
[0134] 显示屏504可以用于显示图像或文字等。扬声器505可以用于播放声音信号等。麦克风506可以用于采集环境中的声音信号等。
[0135] 在本实施例中,电子设备中的处理器503会按照如下的指令,将一个或一个以上的应用程序的进程对应的可执行代码加载到存储器502中,并由处理器503来运行存储在存储器502中的应用程序,从而执行:
[0136] 获取第一图像;从所述第一图像中确定出人脸图像,并确定出所述人脸图像对应的属性信息;根据所述属性信息,获取第二图像;利用所述第二图像对所述第一图像中的所述人脸图像进行图像美化处理。
[0137] 在一种实施方式中,处理器503执行所述确定出所述人脸图像对应的属性信息时,可以执行:确定出所述人脸图像对应的属性信息,所述属性信息至少包括所述人脸图像对应的性别信息、年龄信息、脸型信息、发型信息、情绪信息以及所在场景信息。
[0138] 在一种实施方式中,在所述根据所述属性信息,获取第二图像之前,处理器503还可以执行:获取风格信息,所述风格信息为预先选取的关于图像美化风格的信息。
[0139] 那么,处理器503执行所述根据所述属性信息,获取第二图像时,可以执行:根据所述属性信息以及所述风格信息,获取第二图像。
[0140] 在一种实施方式中,在所述根据所述属性信息以及所述风格信息,获取第二图像之前,处理器503还可以执行:获取用户类别信息;
[0141] 那么,处理器503执行所述根据所述属性信息以及所述风格信息,获取第二图像时,可以执行:根据所述属性信息、所述风格信息以及所述用户类别信息,获取第二图像。
[0142] 在一种实施方式中,处理器503执行根据所述属性信息、所述风格信息以及所述用户类别信息,获取第二图像时,可以执行:将各所述属性信息、所述风格信息以及所述用户类别信息均转化为对应的特征张量;对转化得到的各特征张量进行合并处理,得到目标特征张量;对所述目标特征张量进行聚类处理,确定出所述目标特征张量对应的目标数据簇;从预设图像数据库中,查找与所述目标数据簇对应的图像,其中所述预设图像数据库中存储有不同的数据簇及各数据簇对应的图像;将查找到的与所述目标数据簇对应的图像确定为第二图像。
[0143] 在一种实施方式中,处理器503执行所述获取用户类别信息时,可以执行:获取应用开启行为历史数据;根据所述应用开启行为历史数据,确定用户类别信息。
[0144] 在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见上文针对图像处理方法的详细描述,此处不再赘述。
[0145] 本申请实施例提供的所述图像处理装置与上文实施例中的图像处理方法属于同一构思,在所述图像处理装置上可以运行所述图像处理方法实施例中提供的任一方法,其具体实现过程详见所述图像处理方法实施例,此处不再赘述。
[0146] 需要说明的是,对本申请实施例所述图像处理方法而言,本领域普通技术人员可以理解实现本申请实施例所述图像处理方法的全部或部分流程,是可以通过计算机程序来控制相关的硬件来完成,所述计算机程序可存储于一计算机可读取存储介质中,如存储在存储器中,并被至少一个处理器执行,在执行过程中可包括如所述图像处理方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储器(ROM,Read Only Memory)、随机存取记忆体(RAM,Random Access Memory)等。
[0147] 对本申请实施例的所述图像处理装置而言,其各功能模块可以集成在一个处理芯片中,也可以是各个模块单独物理存在,也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中,所述存储介质譬如为只读存储器,磁盘或光盘等。
[0148] 以上对本申请实施例所提供的一种图像处理方法、装置、存储介质以及电子设备进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。