图像处理方法及其装置、电子设备和计算机可读存储介质转让专利
申请号 : CN201911232906.5
文献号 : CN111031239B
文献日 : 2021-06-18
发明人 : 杜成鹏
申请人 : OPPO广东移动通信有限公司
摘要 :
权利要求 :
1.一种图像处理方法,其特征在于,包括:获取待修复图像;
获取用户的美颜风格;
根据所述美颜风格获取参考图像;和根据所述参考图像对所述待修复图像进行处理,以得到目标图像;
所述根据所述参考图像对所述待修复图像进行处理,以得到目标图像,包括:获取所述待修复图像经上采样后的第一特征图;
获取所述参考图像经过上采样和下采样后的第二特征图;
获取所述参考图像未经过上采样和下采样的第三特征图;
获取所述第二特征图中与所述第一特征图相似度超过第一预设相似度的特征以作为参考特征;
获取所述第三特征图中与所述参考特征相似度超过第二预设相似度的特征,以得到交换特征图;
合并所述交换特征图与所述第一特征图,以得到第四特征图;
将所述第四特征图放大预定倍数以得到第五特征图;
将所述第五特征图作为所述待修复图像并循环执行上述步骤,直至得到的所述第五特征图为目标放大倍数,则具有所述目标放大倍数的所述第五特征图为所述目标图像。
2.根据权利要求1所述的图像处理方法,其特征在于,所述获取待修复图像,包括:获取拍摄标签被操作时摄像头拍摄的图像以作为拍摄图像;和若所述拍摄图像的清晰度小于第一阈值,则将所述拍摄图像作为所述待修复图像。
3.根据权利要求2所述的图像处理方法,其特征在于,所述获取待修复图像,还包括:对所述拍摄图像执行整形低通滤波以获取第一滤波图像;
根据所述拍摄图像与所述第一滤波图像获取所述拍摄图像中的第一高频信息,其中,所述第一高频信息为离散余弦变换系数中远离零频的部分,该部分用于描述所述拍摄图像的细节信息;
当所述第一高频信息的像素数量小于第一预设数量,则确定所述拍摄图像的清晰度小于所述第一阈值。
4.根据权利要求1所述的图像处理方法,其特征在于,所述获取用户的美颜风格,包括:在所述用户的相册中筛选出经过美颜处理的美颜图像;
对所述美颜图像进行分析以获取每幅所述美颜图像的美颜参数;和分析所述美颜参数以确定所述用户的美颜风格。
5.根据权利要求1所述的图像处理方法,其特征在于,所述获取用户的美颜风格,包括:记录所述用户使用摄像头拍摄美颜图像时使用的美颜参数或对相册中的拍摄图像进行编辑时使用的美颜参数;和
分析所述美颜参数以确定所述用户的美颜风格。
6.根据权利要求4或5所述的图像处理方法,其特征在于,所述分析所述美颜参数以确定所述用户的美颜风格,包括:若美颜参数在第一预设范围,确定所述用户为重度美颜用户;
若美颜参数在第二预设范围,确定所述用户为中度美颜用户;
若美颜参数在第三预设范围,确定所述用户为轻度美颜用户;
其中,所述第一预设范围的下限大于等于所述第二预设范围的上限,所述第二预设范围的下限大于等于所述第三预设范围的上限。
7.根据权利要求1所述的图像处理方法,其特征在于,所述获取用户的美颜风格,包括:在所述用户的相册中不存在经过美颜处理的美颜图像,及在所述用户使用摄像头拍摄或对相册中拍摄图像进行编辑时不存在美颜记录时,确认所述用户为轻度美颜用户。
8.根据权利要求1所述的图像处理方法,其特征在于,所述根据所述美颜风格获取参考图像,包括:
在所述用户的相册中的拍摄图像中筛选出人脸与所述待修复图像的人脸的相似度大于预设相似度的图像,以作为一次筛选图像;
在所述一次筛选图像中筛选出人脸参数与所述待修复图像的人脸参数的匹配度大于预设匹配度的图像,以作为二次筛选图像;
在所述二次筛选图像中筛选出清晰度大于第二阈值的图像,以作为三次筛选图像,所述第二阈值大于第一阈值;和
根据每幅所述三次筛选图像的清晰度,将所述三次筛选图像划分为与所述美颜风格分别对应的参考图像。
9.根据权利要求8所述的图像处理方法,其特征在于,所述根据每幅所述三次筛选图像的清晰度,将所述三次筛选图像划分为与所述美颜风格分别对应的参考图像,包括:将清晰度处于第一预定范围的所述三次筛选图像,作为与重度美颜用户对应的参考图像;
将清晰度处于第二预定范围的所述三次筛选图像,作为与中度美颜用户对应的参考图像;
将清晰度处于第三预定范围的所述三次筛选图像,作为与轻度美颜用户对应的参考图像;
其中,所述第一预定范围的上限小于等于所述第二预定范围的下限,所述第二预定范围的上限小于等于所述第三预定范围的下限。
10.根据权利要求8所述的图像处理方法,其特征在于,所述根据所述美颜风格获取参考图像,还包括:
若发生以下情况中的任意一种时,则获取预设标准人像以作为参考图像,在所述用户的相册中的拍摄图像中筛选不出人脸与所述待修复图像的人脸的相似度大于预设相似度的图像;
在所述一次筛选图像中筛选不出人脸参数与所述待修复图像的人脸参数的匹配度大于预设匹配度的图像;
在所述二次筛选图像中筛选不出清晰度大于第二阈值的图像;
其中,所述预设标准人像的清晰度高于第三阈值,所述第三阈值大于所述第二阈值。
11.根据权利要求1所述的图像处理方法,其特征在于,所述根据所述参考图像对所述待修复图像进行处理,以得到目标图像,包括:根据所述参考图像对所述待修复图像进行图像超分辨率算法处理,以得到目标图像。
12.一种图像处理装置,其特征在于,所述图像处理装置包括:第一获取模块,所述第一获取模块用于获取待修复图像;
第二获取模块,所述第二获取模块用于获取用户的美颜风格;
第三获取模块,所述第三获取模块用于根据所述美颜风格获取参考图像;
处理模块,所述处理模块用于根据所述参考图像对所述待修复图像进行处理,以得到目标图像;
所述根据所述参考图像对所述待修复图像进行处理,以得到目标图像,包括:获取所述待修复图像经上采样后的第一特征图;
获取所述参考图像经过上采样和下采样后的第二特征图;
获取所述参考图像未经过上采样和下采样的第三特征图;
获取所述第二特征图中与所述第一特征图相似度超过第一预设相似度的特征以作为参考特征;
获取所述第三特征图中与所述参考特征相似度超过第二预设相似度的特征,以得到交换特征图;
合并所述交换特征图与所述第一特征图,以得到第四特征图;
将所述第四特征图放大预定倍数以得到第五特征图;
将所述第五特征图作为所述待修复图像并循环执行上述步骤,直至得到的所述第五特征图为目标放大倍数,则具有所述目标放大倍数的所述第五特征图为所述目标图像。
13.一种电子设备,其特征在于,所述电子设备包括壳体、成像装置和处理器,所述成像装置和所述处理器均安装在所述壳体内;所述成像装置用于拍摄图像,所述处理器用于实现权利要求1‑11中任一项所述的图像处理方法。
14.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现权利要求1‑11中任一项所述的图像处理方法。
说明书 :
图像处理方法及其装置、电子设备和计算机可读存储介质
技术领域
背景技术
粗大毛孔等细节,但是采用的图像处理技术会重新生成这些粗大毛孔等细节。
发明内容
目标图像。
的美颜风格。所述第三获取模块用于根据所述美颜风格获取参考图像。所述处理模块用于
根据所述参考图像对所述待修复图像进行处理,以得到目标图像。
像;获取用户的美颜风格;根据所述美颜风格获取参考图像;和根据所述参考图像对所述待
修复图像进行处理,以得到目标图像。
图像;和根据所述参考图像对所述待修复图像进行处理,以得到目标图像。
了用户体验。
附图说明
具体实施方式
考附图描述的实施方式是示例性的,仅用于解释本申请的实施方式,而不能理解为对本申
请的实施方式的限制。
100可用于实现本申请实施方式的图像处理方法。步骤01可由第一获取模块11执行,步骤02
可由第二获取模块12执行,步骤03可由第三获取模块13执行,步骤04可由处理模块14执行。
也即是说,第一获取模块11可用于获取待修复图像。第二获取模块12可用于获取用户的美
颜风格。第三获取模块13可用于根据美颜风格获取参考图像。处理模块14可用于根据参考
图像对待修复图像进行处理,以得到目标图像。
220用于拍摄图像,成像装置220包括多个摄像头,多个摄像头包括第一摄像头221和第二摄
像头222。其中,处理器230可用于实现本申请实施方式的图像处理方法,步骤01、步骤02、步
骤03和步骤04均可由处理器230实现。也即是说,处理器230可用于:获取待修复图像;获取
用户的美颜风格;根据美颜风格获取参考图像;和根据参考图像对待修复图像进行处理,以
得到目标图像。
合用户自身的审美(例如人脸毛孔粗大、皮肤暗黄)等图像。第二获取模块12或处理器230获
取用户的美颜风格。美颜风格可以包括重度美颜风格、中度美颜风格和轻度美颜风格,或包
括小清新、自然、港式等风格。用户的美颜风格可以根据用户美颜习惯获取其美颜风格,例
如根据美颜参数获取美颜风格,美颜参数包括磨皮参数、美白参数、祛斑参数、妆容参数等,
只要其中任意一个参数为70%以上,则判断该用户为重度美颜风格。此外,用户的美颜风格
也可以是根据不同性别及不同年龄段的人像进行获取,例如,图像中的人像为女性或男性
且年龄在70岁以上,则获取其美颜风格为重度美颜风格;图像中的人像为女性或男性且年
龄在40~70岁之间,则获取其美颜风格为中度美颜风格;图像中的人像为女性或男性且年
龄在40岁以下,则获取其美颜风格为轻度美颜风格。需要指出的是,对于不用美颜拍摄图像
的用户则默认其美颜风格为轻度美颜风格。然后,第三获取模块13或处理器230根据美颜风
格获取参考图像,例如用户为重度美颜风格,则参考图像也为重度美颜图像。最后,处理模
块14根据参考图像对待修复图像进行处理,以得到目标图像。
户体验。
取单元111可用于获取拍摄标签被操作时摄像头(第一摄像头221或第二摄像头222)拍摄的
图像以作为拍摄图像。第一确定单元115可用于若拍摄图像的清晰度小于第一阈值,则将拍
摄图像作为待修复图像。
摄图像的清晰度小于第一阈值,则将拍摄图像作为待修复图像。
过整形低通滤波对该帧原始图像进行处理,以得到滤波图像。再根据该帧原始图像与滤波
图像得到高频信息,具体为用该帧原始图像减去滤波图像即可得到高频信息。其中,高频信
息为离散余弦变换系数中远离零频的部分,该部分用于描述拍摄图像的细节信息。最后,统
计高频信息的像素数量在该帧原始图像的所有像素中的占比。例如,该帧原始图像中的高
频信息的像素数量占该帧原始图像的所有像素数量的20%,则用占比20%来表征该帧原始
图像的清晰度。
200上的拍照触摸区域对应的拍照标签,也可以是电子设备200中设置的同时按下音量键加
开机键。当用户触摸拍照触摸区域或者同时按下音量键加开机键时,摄像头所拍摄的图像
为拍摄图像。若拍摄图像的清晰度小于第一阈值,例如第一阈值可以是15%,若拍摄图像的
清晰度为12%,是小于第一阈值15%的,则第一确定单元115或处理器230将拍摄图像作为
待修复图像。此时的待修复图像是清晰度不高,需要进行超分辨率算法修复的图像。
人工操作的依赖,提升了用户体验。
行,步骤014可由第一判断单元114执行。也即是说,第二获取单元112可用于对拍摄图像执
行整形低通滤波以获取第一滤波图像。第三获取单元113可用于根据拍摄图像与第一滤波
图像获取拍摄图像中的第一高频信息。第一判断单元114可用于当第一高频信息的像素数
量小于第一预设数量,则确定拍摄图像的清晰度小于第一阈值。
拍摄图像与第一滤波图像获取拍摄图像中的第一高频信息;当第一高频信息的像素数量小
于第一预设数量,则确定拍摄图像的清晰度小于第一阈值。
波图像,就能得到拍摄图像中的第一高频信息,第一高频信息是指离散余弦变换系数中远
离零频的部分,该部分用于描述拍摄图像的细节信息;在得到第一高频信息后,可以统计第
一高频信息的像素数量,第一高频信息的像素数量越多,则拍摄图像越清晰。
量占该幅拍摄图像的所有像素数量的20%,则用占比20%来表征该幅拍摄图像的清晰度。
由此可见,每一个清晰度对应一个第一高频信息的像素数量。
需要修复的临界值。例如,在一幅拍摄图像中,若第一高频信息的像素数量小于第一预设数
量时,则说明该幅拍摄图像的清晰度小于第一阈值,该幅拍摄图像需要被修复,即可作为待
修复图像。
可以在图像处理装置100或电子设备200中预先设定多个不同的第一预设数量,自动关联上
与第一预设数量对应的第一阈值,然后由用户根据不同需求选择不同的第一阈值。
清晰度小于15%,并将该幅拍摄图像作为待修复图像。
行,步骤023可由第二确定单元123执行。也即是说,第四获取单元121可用于在用户的相册
中筛选出经过美颜处理的美颜图像。第五获取单元122可用于对美颜图像进行分析以获取
每幅美颜图像的美颜参数。第二确定单元123可用于分析美颜参数以确定用户的美颜风格。
图像进行分析以获取每幅美颜图像的美颜参数;和分析美颜参数以确定用户的美颜风格。
第五获取单元122或处理器230对美颜图像进行分析以获取每幅美颜图像的美颜参数,其
中,获取每幅美颜图像的美颜参数(包括磨皮参数、去斑参数、美白参数、妆容参数等)可以
是一种参数的数值或几种参数的平均值。例如,一幅美颜图像中仅仅获取得到磨皮参数为
70%,则该美颜图像的美颜参数为70%。若一幅美颜图像的磨皮参数为70%,美白参数为
80%,祛痘参数为50%,则第五获取单元122或处理器230获取该美颜图像的美颜参数可以
为(70%+80%+50%)/3=66.7%,即该美颜图像的美颜参数为66.7%。
格时,则是以该幅美颜图像的美颜参数来确定用户的美颜风格;当依据多幅美颜图像的美
颜参数来确定用户的美颜风格时,则先根据多幅美颜图像的美颜参数求出一个平均美颜参
数或者一个加权美颜参数,再应用该平均美颜参数或该加权美颜参数来确定用户的美颜风
格。具体地,第二确定单元123或处理器230分析美颜参数(同样包括:单幅美颜图像的美颜
参数、多幅美颜图像的平均美颜参数、多幅美颜图像的加权美颜参数)以确定用户的美颜风
格包括:若美颜参数(单幅美颜图像的美颜参数、多幅美颜图像的平均美颜参数、或多幅美
颜图像的加权美颜参数)在第一预设范围,则确定用户为重度美颜用户;若美颜参数(单幅
美颜图像的美颜参数、多幅美颜图像的平均美颜参数、或多幅美颜图像的加权美颜参数)在
第二预设范围,则确定用户为中度美颜用户;若美颜参数(单幅美颜图像的美颜参数、多幅
美颜图像的平均美颜参数、或多幅美颜图像的加权美颜参数)在第三预设范围,则确定用户
为轻度美颜用户;其中,第一预设范围的下限大于等于第二预设范围的上限,第二预设范围
的下限大于等于第三预设范围的上限。例如,对于女性,第一预设范围可以是美颜参数为
70%以上,则确定用户为重度美颜用户;第二预设范围可以是美颜参数为40%~70%,则确
定用户为中度美颜用户;第二预设范围可以是美颜参数为40%以下,则确定用户为轻度美
颜用户。对于男性,第一预设范围可以是美颜参数为60%以上,则确定用户为重度美颜用
户;第二预设范围可以是美颜参数为30%~60%,则确定用户为中度美颜用户;第二预设范
围可以是美颜参数为30%以下,则确定用户为轻度美颜用户。
美颜图像的平均美颜参数、或多幅美颜图像的加权美颜参数)或对相册中的拍摄图像进行
编辑时使用的美颜参数(同样包括:单幅美颜图像的美颜参数、多幅美颜图像的平均美颜参
数、或多幅美颜图像的加权美颜参数),然后,分析美颜参数(单幅美颜图像的美颜参数、多
幅美颜图像的平均美颜参数、或多幅美颜图像的加权美颜参数)以确定用户的美颜风格,具
体确认方式同上所述,在此不再赘述。例如,一名女性用户5次使用摄像头拍摄美颜图像时
使用的美颜参数中获取的磨皮参数分别为:80%、88%、87%、90%、95%,可以取5次磨皮参
数的平均值为美颜参数,即该用户拍摄图像所使用的美颜参数为:(80%+88%+87%+90%+
95%)/5=88%,88%大于第一预设范围70%,则确定该用户属于重度美颜用户。
不存在美颜记录时,确认用户为轻度美颜用户。
单元132执行,步骤033可由第三筛选单元133执行,步骤034可由划分单元134执行。也即是
说,第一筛选单元131可用于在用户的相册中的拍摄图像中筛选出人脸与待修复图像的人
脸的相似度大于预设相似度的图像,以作为一次筛选图像。第二筛选单元132可用于在一次
筛选图像中筛选出人脸参数与待修复图像的人脸参数的匹配度大于预设匹配度的图像,以
作为二次筛选图像。第三筛选单元133可用于在二次筛选图像中筛选出清晰度大于第二阈
值的图像,以作为三次筛选图像,第二阈值大于第一阈值。划分单元134可用于根据每幅三
次筛选图像的清晰度,将三次筛选图像划分为与美颜风格分别对应的参考图像。
复图像的人脸的相似度大于预设相似度的图像,以作为一次筛选图像;在一次筛选图像中
筛选出人脸参数与待修复图像的人脸参数的匹配度大于预设匹配度的图像,以作为二次筛
选图像;在二次筛选图像中筛选出清晰度大于第二阈值的图像,以作为三次筛选图像,第二
阈值大于第一阈值;和根据每幅三次筛选图像的清晰度,将三次筛选图像划分为与美颜风
格分别对应的参考图像。
主、机主的亲戚朋友)本人的意愿,在图像处理的时候,最好采用包含用户本人人像的拍摄
图像作为参考图像。因此,可对用户的相册中的拍摄图像进行第一次筛选。具体地,从相册
中的拍摄图像中筛选出人脸与待修复图像的人脸的相似度大于或等于预设相似度的图像,
以作为一次筛选图像,此时,一次筛选图像与待修复图像的人像为同一个人,例如,当待修
复图像为机主本人,则一次筛选图像也为机主本人;当待修复图像为机主的朋友A,则一次
筛选图像也为机主朋友A,如此,更能确保超分辨率图的重建结果是用户想要的,提升了用
户体验。经过筛选后,相册中人脸与待修复图像的人脸的相似度小于预设相似度的图像全
部被排除在外,不用来作为参考图像。更具体地,可通过对待修复图像的人脸的特征和用户
的人脸的特征进行检测来确定相似度是否大于或等于预设相似度,该特征包括五官特征、
皮肤特征、头发特征中的至少一种,经过对比,若待修复图像的人脸与相册中的拍摄图像的
人脸的相似度大于或等于预设相似度,则可确定该幅拍摄图像为一次筛选图像;若待修复
图像的人脸与相册中的拍摄图像的人脸的相似度小于预设相似度,则可将该幅拍摄图像直
接排除掉。其中,预设相似度的值越大,待修复图像中的人像与一次筛选图像中的人像越相
似,就越能说明一次筛选图像中的人像与待修复图像的人像是同一个人;预设相似度的值
越小,对比工作量越小,对比速度也就越高。本实施方式中,预设相似度的范围可为70%‑
100%,例如,预设相似度可以为70%、71%、75%、80%、85%、89%、90%、91%、92%、94%、
95%、98%、99%、100%等等。预设相似度在该范围时,既能保证对比的准确率,又能有较快
的比对速度,进而加快图像处理的整体速度。
(图13中左图)拍摄图像中眉毛特征、眼睛特征和嘴巴特征与待修复图像的人脸信息对应的
眉毛特征、眼睛特征和嘴巴特征不同,即相似度小于预设相似度,则第一幅拍摄图像不作为
一次筛选图像。第二幅(图13中的中间图)拍摄图像和第三幅拍摄图像(图13中的右图)中的
各个特征都与人脸信息对应的特征相同,例如,鼻子特征,眼睛特征,嘴巴特征等,因此,第
二幅拍摄图像和第三幅拍摄图像作为一次筛选图像。以预设相似度为80%为例,进一步地,
若从100张用户相册中经过第一次筛选选取出8张(大于1张图像)相似度大于预设相似度
80%的拍摄图像,则该8张拍摄图像作为一次筛选图像,且该8张一次筛选图像需要进行第
二次筛选。
选,第一子筛选的依据是人脸亮度,其中,人脸亮度可以分为5个或多个亮度级别,5个人脸
亮度级别从低到高排序为:A1、A2、A3、A4、A5,若待修复图像的人脸亮度级别为A3级别,假设
上述8张一次筛选图像的人脸亮度中有3张图像(第5、6、8张图像)的人脸亮度为A3级别,则
第5、6、8张图像则是第一子筛选后挑选出的图像。接着,再进行第二子筛选,第二子筛选的
依据是人脸朝向角度,第5、6、8张图像中,若第5张和第6张图像中的人脸与待修复图像的人
脸的人脸朝向角度的匹配度分别为80%和90%,预设匹配度范围可为70%‑100%,假设预
设匹配度为75%,即该第5张图像和第6张图像的人脸参数匹配相似度均大于预设匹配度,
则第5、6张图像则是第二子筛选后挑选出的图像。最后,再进行第三子筛选,第三子筛选的
依据是人脸绝对面积,。其中,人脸绝对面积是指人脸图像上的脸部面积(约为圆形面积)占
整张图像面积的比值,从第5张图像和第6张图像中挑选人脸绝对面积与待修复图像的人脸
绝对面积之间的匹配度大于预设匹配度的图像,以作为二次筛选图像。如图14和图15所示,
图14为待修复图像,待修复图像中的人脸绝对面积为40%,图15从左至右依次为一次筛选
图像中的第5张图像和第6张图像,第5张图像中人脸的人脸绝对面积约为20%,第6张图像
中人脸的人脸绝对面积约为40%,由于第6张图像中人脸的人脸绝对面积与待修复图像中
的人脸绝对面积相同(两者之间的误差可以在10%以内),则第6张图像则是第三子筛选后
挑选出的图像,同时,第6张图像可以作为二次筛选图像。
否高于预设匹配度,例如一次筛选图像与待修复图像的人脸亮度之间的匹配度大于预设匹
配度,或一次筛选图像与待修复图像的人脸朝向角度之间的匹配度大于预设匹配度、或一
次筛选图像与待修复图像的人脸绝对面积之间的匹配度大于预设匹配度。另外,二次筛选
中的三次子筛选的依据参数的顺序可以发生变化,例如可以依次依据人脸朝向角度、人脸
绝对面积、及人脸亮度;还可以依次依据人脸绝对面积、人脸亮度、及人脸朝向角度等等,在
此不再一一列举。若经过二次筛选后的图像仍然有多张图像(大于1张图像),则进行第三次
筛选。
例如,一幅二次筛选图像中的第二高频信息的像素数量占该幅二次筛选图像的所有像素数
量的30%,则用占比30%来表征该幅二次筛选图像的清晰度。由此可见,每一个清晰度对应
一个第二高频信息的像素数量。
筛选图像是否可以作为参考图像的临界值。例如,在一幅二次筛选图像中,若第二高频信息
的像素数量大于第二预设数量时,则说明该幅二次筛选图像的清晰度大于第二阈值,则该
幅二次筛选图像即可作为三次筛选图像。
可以在图像处理装置100或电子设备200中预先设定多个不同的第二预设数量,自动关联上
与第二预设数量对应的第二阈值,然后由用户根据不同需求选择不同的第二阈值。
480万时,则确定该幅二次筛选图像的清晰度大于30%,并将该幅二次筛选图像作为三次筛
选图像。
像,作为与重度美颜用户对应的参考图像;将清晰度处于第二预定范围的三次筛选图像,作
为与中度美颜用户对应的参考图像;将清晰度处于第三预定范围的三次筛选图像,作为与
轻度美颜用户对应的参考图像;其中,第一预定范围的上限小于等于第二预定范围的下限,
第二预定范围的上限小于等于第三预定范围的下限。
26.9%、27%等,则将该图像作为重度美颜用户对应的参考图像。第二预定范围可以是27%
~29%(不包括27%),若某张经过三次筛选的图像的清晰度值在27%至29%之间,包括
27.1%、27.2%、27.5%、27.8%、28%、28.2%、28.5%、28.8%、28.9%、29%等,则将该图
像作为中度美颜用户对应的参考图像。第三预定范围可以是29%~31%(不包括29%),若
某张经过三次筛选的图像的清晰度值在29%至31%之间,包括29.1%、29.3%、29.5%、
29.8%、30%、30.2%、30.5%、30.8%、30.9%、31%等,则将该图像作为轻度美颜用户对应
的参考图像。可以理解地,重度美颜用户对于图像的清晰度有一定的追求,但更注重于对图
像的审美,例如,重度美颜用户希望皮肤是白皙的,或者希望脸上的毛孔细密一些,不是粗
大明显的,因此为了防止采用清晰度较高的三次筛选图像作为参考图像,会使得重度美颜
用户的不美观的细节被放大,因此,对于重度美颜用户而言,选用清晰度在第一预定范围内
的更符合他们的审美风格。轻度美颜用户更注重图像的真实,对于图像的清晰度有较高的
追求,因此,对于轻度美颜用户而言,选用清晰度在第三预定范围内的更符合他们的审美风
格。
于预设相似度的图像;在一次筛选图像中筛选不出人脸参数与待修复图像的人脸参数的匹
配度大于预设匹配度的图像;在二次筛选图像中筛选不出清晰度大于第二阈值的图像;其
中,预设标准人像的清晰度高于第三阈值,第三阈值大于等于第二阈值。该标准人像可在网
络上下载与用户同地区的任意一张高清人像,例如高清海报等。预设标准人像的清晰度都
要大于第三阈值,第三阈值大于第二阈值,并可预先设置,只有大于第三阈值的图像才能作
为参考图像(预设标准人像),以达到更好的图像处理效果。
他实施例中还可以运用其他图像处理方法。其中,超分辨率算法处理的过程分为特征交换
与纹理迁移两个步骤。特征交换就是将低分辨率图像的众多特征与参考图像的众多特征进
行匹配,然后提取出能够使用的合理的特征图。纹理转换将提取出的特征图与低分辨率的
特征图合并,最终得到目标图像。其中,上采样可理解为对初始图像或者参考图像进行放大
处理,下采样可理解为对参考图像进行缩小处理。
148。步骤041可由第六获取单元141执行,步骤042可由第七获取单元142执行,步骤043可由
第八获取单元143执行,步骤044可由第九获取单元144执行,步骤045可由第十获取单元145
执行,步骤046可由合并单元146执行,步骤047可由放大单元147执行,步骤048可由处理单
元148执行。也即是说,第六获取单元141可用于获取待修复图像经上采样后的第一特征图,
第七获取单元142可用于获取参考图像经过上采样和下采样后的第二特征图,第八获取单
元143可用于获取参考图像未经过上采样和下采样的第三特征图,第九获取单元144可用于
获取第二特征图中与第一特征图相似度超过第一预设相似度的特征以作为参考特征,第十
获取单元145可用于获取第三特征图中与参考特征相似度超过第二预设相似度的特征,以
得到交换特征图,合并单元146可用于合并交换特征图与第一特征图,以得到第四特征图,
放大单元147可用于将第四特征图放大预定倍数以得到第五特征图,处理单元148可用于将
第五特征图作为待修复图像并循环执行上述步骤,直至得到的第五特征图为目标放大倍
数,则具有目标放大倍数的第五特征图为目标图像。
图像经上采样后的第一特征图;获取参考图像经过上采样和下采样后的第二特征图;获取
参考图像未经过上采样和下采样的第三特征图;获取第二特征图中与第一特征图相似度超
过第一预设相似度的特征以作为参考特征;获取第三特征图中与参考特征相似度超过第二
预设相似度的特征,以得到交换特征图;合并交换特征图与第一特征图,以得到第四特征
图;将第四特征图放大预定倍数以得到第五特征图;将第五特征图作为待修复图像并循环
执行上述步骤,直至得到的第五特征图为目标放大倍数,则具有目标放大倍数的第五特征
图为目标图像。
的人像区域进行放大后的图像,第一特征图中包括人像中的各个特征,例如五官、肤质、头
发、轮廓等等。由于第一特征图为直接对待修复图像进行放大导致第一特征图的清晰度较
低,而参考图像的清晰度是比较高的,因此需要对参考图像先进行下采样(缩小),在对下采
样后的图像进行上采样,以实现参考图像的模糊化处理,提升第二特征图与第一特征图的
相似度。第二特征图中也可包括例如五官、肤质、头发、轮廓等特征。直接将参考图像输入到
卷积神经网络进行特征提取,得到第三特征图,需要说明的是,卷积神经网络为一个已经过
深度学习后的网络,能对输入的图像进行高准确率的特征提取。
二特征图的该特征与第一特征图的对应特征很像,所以可将第二特征图上的该特征作为参
考特征。再将第三特征图与参考特征进行对比,判断两者的相似度,并将相似度超过第二预
设相似度进行比较,若相似度大于或等于第二预设相似度,则得到对应的交换特征图。再对
交换特征图与第一特征图进行合并,得到第四特征图,再对第四特征图进行放大预定倍数
得到第五特征图。对第五特征图的放大倍数进行判断,若放大倍数等于目标放大倍数时,就
将该第五特征图作为目标图像(高分辨率图像)。
施方式的图像处理方法的步骤。
来获取到相应的计算机程序310。
带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储
器、只读存储器(ROM,Read‑Only Memory)、随机存取存储器(RAM,Random Access Memory)、
以及软件分发介质等。
Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现
成可编程门阵列(Field‑Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立
门或者晶体管逻辑器件、分立硬件组件等。
示例以及不同实施例或示例的特征进行结合和组合。
隐含地包括至少一个该特征。在本申请的描述中,“多个”的含义是至少两个,例如两个,三
个等,除非另有明确具体的限定。
分,并且本申请的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺
序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本申请
的实施例所属技术领域的技术人员所理解。
实施例进行变化、修改、替换和变型,本申请的范围由权利要求及其等同物限定。