图像处理的方法和设备转让专利
申请号 : CN201780096739.9
文献号 : CN111328448B
文献日 : 2021-08-03
发明人 : 张运超 , 陈帅 , 贾志平 , 苗磊
申请人 : 华为技术有限公司
摘要 :
权利要求 :
1.一种图像处理的方法,由具有数码变焦功能的终端执行,其特征在于,所述方法包括:
启动所述终端的拍照功能;
启动所述终端的变焦功能;
接收用户的选择输入;
根据所述选择输入确定目标变焦倍率;
采集待处理图像;
使用目标超分辨率卷积神经网络模型对所述待处理图像进行处理,以得到与所述目标变焦倍率对应的处理后的图像;其中,所述目标超分辨率卷积神经网络模型为使用高清训练图像、低清训练图像以及蒙版图像对超分辨率卷积神经网络模型进行训练获取的;其中,所述蒙版图像为对所述高清训练图像中的感兴趣区域进行提取,将所述感兴趣区域和所述高清训练图像中的其余区域分别赋以不同权值,生成与所述高清训练图像相同尺寸的图像;
显示所述处理后的图像。
2.根据权利要求1所述的方法,其特征在于,所述终端存储有至少一个单倍率的目标超分辨率卷积神经网络模型,所述使用目标超分辨率卷积神经网络模型对待处理图像进行处理,显示处理后的图像,包括:判断所述至少一个单倍率的目标超分辨率卷积神经网络模型中是否存在与所述目标变焦倍率相等倍率的目标超分辨率卷积神经网络模型;
若是,使用与所述目标变焦倍率相等倍率的目标超分辨率卷积神经网络模型对所述待处理图像进行处理,输出处理后的图像;
若否,使用Y倍率的目标超分辨率卷积神经网络模型对所述待处理图像进行处理,获取中间结果,使用线性插值算法对所述中间结果进行X‑Y倍变焦,输出处理后的图像,其中,X为所述目标变焦倍率,Y为所述至少一个单倍率中小于X的最大的变焦倍率。
3.根据权利要求1所述的方法,其特征在于,所述终端存储有多倍率的目标超分辨率卷积神经网络模型,所述使用目标超分辨率卷积神经网络模型对待处理图像进行处理,显示处理后的图像,包括:
判断所述多倍率是否包括所述目标变焦倍率;
若是,将所述待处理图像输入所述目标超分辨率卷积神经网络模型,使用所述目标超分辨率卷积神经网络模型对所述待处理图像进行处理,输出处理后的图像;
若否,使用所述目标超分辨率卷积神经网络模型对所述待处理图像进行处理,获取中间结果,使用线性插值算法对所述中间结果进行X‑Z倍变焦,输出处理后的图像,其中,X为所述目标变焦倍率,Z为所述多倍率中小于X的最大的变焦倍率。
4.根据权利要求1至3任一项所述的方法,其特征在于,所述方法还包括:针对同一场景拍摄的所述高清训练图像和所述低清训练图像,通过图像配准算法构建训练图像对;
按照预设规则提取所述高清训练图像中的感兴趣区域,将所述感兴趣区域和所述高清训练图像中的其余区域分别赋以不同权值,生成与所述高清训练图像相同尺寸的所述蒙版图像;
将所述高清训练图像、所述低清训练图像和所述蒙版图像输入超分辨率卷积神经网络模型,根据所述蒙版图像中存储的不同权值分区域计算损失代价结果,根据所述损失代价结果得到所述目标超分辨率卷积神经网络模型。
5.根据权利要求4所述的方法,其特征在于,所述根据所述损失代价结果得到所述目标超分辨率卷积神经网络模型,包括:判断所述损失代价结果是否满足预设条件,若不满足,则调整所述超分辨率卷积神经网络模型,直至调整后的超分辨率卷积神经网络模型满足所述预设条件,得到所述目标超分辨率卷积神经网络模型;
若满足,则将所述超分辨率卷积神经网络模型作为所述目标超分辨率卷积神经网络模型。
6.根据权利要求5所述的方法,其特征在于,所述按照预设规则提取所述高清训练图像中的感兴趣区域,包括:
利用高频提取算法提取所述高清训练图像中的高频信息,将高频信息作为所述感兴趣区域;或者,
利用人脸检测算法提取所述高清训练图像中的人脸信息,将人脸信息作为所述感兴趣区域;或者,
利用图像分割算法提取不同的物体作为所述感兴趣区域。
7.根据权利要求1至3、5、6任一项所述的方法,其特征在于,所述方法还包括:接收用户通过相机操作界面或者在硬件拍照按钮上输入的拍照命令,响应于所述拍照命令,将所述处理后的图像保存至所述终端的存储器中。
8.根据权利要求3所述的方法,其特征在于,所述使用目标超分辨率卷积神经网络模型对所述待处理图像进行处理,包括:当所述目标变焦倍率大于所述终端的最大光学变焦倍率时,使用目标超分辨率卷积神经网络模型对所述待处理图像进行处理。
9.一种图像处理的方法,其特征在于,包括:针对同一场景拍摄高清训练图像和低清训练图像;
按照预设规则提取所述高清训练图像中的感兴趣区域,将所述感兴趣区域和所述高清训练图像中的其余区域分别赋以不同权值,生成与所述高清训练图像相同尺寸的蒙版图像;
使用所述高清训练图像、所述低清训练图像以及所述蒙版图像对超分辨率卷积神经网络模型进行训练生成目标超分辨率卷积神经网络模型。
10.根据权利要求9所述的方法,其特征在于,所述按照预设规则提取所述高清训练图像中的感兴趣区域,包括:
利用高频提取算法提取高清训练图像中的高频信息,将高频信息作为感兴趣区域;或者,
利用人脸检测算法提取高清训练图像中的人脸信息,将人脸信息作为感兴趣区域;或者,
利用图像分割算法提取不同的物体作为不同的感兴趣区域。
11.根据权利要求9或10所述的方法,其特征在于,所述使用所述高清训练图像、所述低清训练图像以及蒙版图像对超分辨率卷积神经网络模型进行训练生成目标超分辨率卷积神经网络模型,包括:
将所述高清训练图像、所述低清训练图像和所述蒙版图像输入超分辨率卷积神经网络模型,根据所述蒙版图像中存储的不同权值分区域计算损失代价结果,根据所述损失代价结果得到所述目标超分辨率卷积神经网络模型。
12.根据权利要求11所述的方法,其特征在于,所述将所述高清训练图像、所述低清训练图像和所述蒙版图像输入超分辨率卷积神经网络模型,根据所述蒙版图像中存储的不同权值分区域计算损失代价结果,根据所述损失代价结果得到所述目标超分辨率卷积神经网络模型,包括:
使用超分辨率卷积神经网络模型对所述低清训练图像进行处理,获取网络输出的高清图像;
将所述高清训练图像、所述网络输出的高清图像以及所述蒙版图像进行运算,计算损失代价结果;
根据所述损失代价结果得到所述目标超分辨率卷积神经网络模型。
13.根据权利要求12所述的方法,其特征在于,所述根据所述损失代价结果得到所述目标超分辨率卷积神经网络模型,包括:判断所述损失代价结果是否满足预设条件,若不满足,则调整所述超分辨率卷积神经网络模型,直至调整后的超分辨率卷积神经网络模型满足所述预设条件,得到所述目标超分辨率卷积神经网络模型;
若满足,则将所述超分辨率卷积神经网络模型作为所述目标超分辨率卷积神经网络模型。
14.根据权利要求12或13所述的方法,其特征在于,所述将所述高清训练图像、所述网络输出的高清图像以及所述蒙版图像进行运算,计算损失代价结果,包括:根据公式 获取损失代价结果;
其中,Loss为损失代价结果,L为像素数,ymask为蒙版图像的权值, 为高清训练图像的像素点的灰度值或亮度值,ynn_hr为网络输出的高清图像的灰度值或亮度值。
15.根据权利要求9、10、12至13任一项所述的方法,其特征在于,所述方法还包括:使用图像配准算法对所述高清训练图像和所述低清训练图像进行配准,建立所述高清训练图像和所述低清训练图像的一一对应关系。
16.一种终端,其特征在于,包括:显示器、摄像头、处理器和存储器;
其中,所述摄像头用于拍摄图像,所述存储器用于存储计算机可执行程序代码,所述程序代码包括指令;当所述处理器执行所述指令时,所述指令使所述终端执行如权利要求1至
8任一项所述的图像处理方法。
17.一种训练服务器,其特征在于,包括:处理器和存储器;
其中,所述存储器用于存储计算机可执行程序代码,所述程序代码包括指令;当所述处理器执行所述指令时,所述指令使所述训练服务器执行如权利要求9至15任一项所述的图像处理方法。
18.一种计算机可读存储介质,其上存储有计算机程序或指令,其特征在于,当所述计算机程序或指令被处理器或计算机执行时,实现如权利要求1至15任一项所述的图像处理方法。
说明书 :
图像处理的方法和设备
技术领域
背景技术
深度神经网络学习的超分辨率插值算法。
网络模型的训练、以及测试数据前向计算等过程。其中,训练数据包括高清训练数据和低清
训练数据,低清训练数据的采集是采用对高清训练数据下采样的方式获取低清训练数据,
将利用该高清训练数据和低清训练数据训练得到的神经网络模型直接应用到移动终端的
数码变焦上。
低清训练数据训练得到的神经网络模型应用于移动终端时,会造成移动终端输出的变焦后
的图像的清晰度较低,图像的质量差。
发明内容
择输入;根据用户的选择输入确定目标变焦倍率,采集待处理图像;使用目标超分辨率卷积
神经网络模型对所述待处理图像进行处理,以得到与所述目标变焦倍率对应的处理后的图
像;其中,所述目标超分辨率卷积神经网络模型为使用高清训练图像、低清训练图像以及蒙
版图像对超分辨率卷积神经网络模型进行训练获取的;显示所述处理后的图像。
像以及蒙版图像不断学习,进行模型调整得到的,所以可以提升模型应用设备输出的变焦
后的图像的清晰度,以克服传统数码变焦引入的清晰度下降以及噪点放大等图像质量下降
问题。
述输入图像进行处理,输出处理后的图像,包括:判断所述至少一个单倍率的目标超分辨率
卷积神经网络模型中是否存在与所述目标变焦倍率相等倍率的目标超分辨率卷积神经网
络模型;若是,使用与所述目标变焦倍率相等倍率的目标超分辨率卷积神经网络模型对所
述待处理图像进行处理,输出处理后的图像;若否,使用Y倍率的目标超分辨率卷积神经网
络模型对所述待处理图像进行处理,获取中间结果,使用线性插值算法对所述中间结果进
行X‑Y倍变焦,输出处理后的图像,其中,X为所述目标变焦倍率,Y为所述多个单倍率中小于
X的最大的变焦倍率。
处理图像进行处理,可以提升输出的变焦后的图像的清晰度,以克服传统数码变焦引入的
清晰度下降以及噪点放大等图像质量下降问题。
分辨率卷积神经网络模型对所述输入图像进行处理,输出处理后的图像,包括:判断所述多
倍率是否包括所述目标变焦倍率;若是,将所述待处理图像输入所述目标超分辨率卷积神
经网络模型,使用所述目标超分辨率卷积神经网络模型对所述待处理图像进行处理,输出
处理后的图像;若否,使用所述目标超分辨率卷积神经网络模型对所述待处理图像进行处
理,获取中间结果,使用线性插值算法对所述中间结果进行X‑Z倍变焦,输出处理后的图像,
其中,X为所述目标变焦倍率,Z为所述多倍率中小于X的最大的变焦倍率。
以提升输出的变焦后的图像的清晰度,以克服传统数码变焦引入的清晰度下降以及噪点放
大等图像质量下降问题。
图像,通过图像配准算法构建训练图像对;按照预设规则提取所述高清训练图像中的感兴
趣区域,将所述感兴趣区域和所述高清训练图像中的其余区域分别赋以不同权值,生成与
所述高清训练图像相同尺寸的所述蒙版图像;将所述高清训练图像、所述低清训练图像和
所述蒙版图像输入超分辨率卷积神经网络模型,根据所述蒙版图像中存储的不同权值分区
域计算损失代价结果,根据所述损失代价结果得到所述目标超分辨率卷积神经网络模型。
有效提升所获得的目标超分辨率卷积神经网络模型的图像处理的效果。将该目标超分辨率
卷积神经网络模型应用于模型应用设备中,可以提升模型应用设备输出的变焦后的图像的
清晰度。
括:判断所述损失代价结果是否满足预设条件,若不满足,则调整所述超分辨率卷积神经网
络模型,直至调整后的超分辨率卷积神经网络模型满足所述预设条件,得到所述目标超分
辨率卷积神经网络模型;若满足,则将所述超分辨率卷积神经网络模型作为所述目标超分
辨率卷积神经网络模型。
提取算法提取所述高清训练图像中的高频信息,将高频信息作为所述感兴趣区域;或者,利
用人脸检测算法提取所述高清训练图像中的人脸信息,将人脸信息作为所述感兴趣区域;
或者,利用图像分割算法提取不同的物体作为所述感兴趣区域。
神经网络模型的输出图像边缘更加锐利,用户主观感受好,而通过模型训练过程可以使得
低频信息所在区域(平坦区域、噪点等)的学习率增加,从而使得目标超分辨率卷积神经网
络模型的输出图像不会有较明显的噪点放大,实现噪点均衡。
拍照命令,响应于所述拍照指令,将所述处理后的图像保存至所述终端的存储器中。
当所述目标变焦倍率大于所述终端的最大光学变焦倍率时,使用目标超分辨率卷积神经网
络模型对所述待处理图像进行处理。
所述待处理图像进行处理,从而实现终端在数码变焦时,使用目标超分辨率卷积神经网络
模型对所述待处理图像进行处理。
感兴趣区域和所述高清训练图像中的其余区域分别赋以不同权值,生成与所述高清训练图
像相同尺寸的蒙版图像;使用所述高清训练图像、所述低清训练图像以及所述蒙版图像对
超分辨率卷积神经网络模型进行训练生成目标超分辨率卷积神经网络模型。
像以及蒙版图像不断学习,进行模型调整,获取目标超分辨率卷积神经网络模型,在学习过
程中,由于蒙版图像的输入,使得感兴趣区域权值较高,对损失代价结果影响较大,可以提
升感兴趣区域的学习率,降低其他区域的学习率,从而可以有效提升所获得的目标超分辨
率卷积神经网络模型的图像处理的效果。将该目标超分辨率卷积神经网络模型应用于模型
应用设备中,可以提升模型应用设备输出的变焦后的图像的清晰度。
息,将高频信息作为感兴趣区域;或者,利用人脸检测算法提取高清训练图像中的人脸信
息,将人脸信息作为感兴趣区域;或者,利用图像分割算法提取不同的物体作为不同的感兴
趣区域。
积神经网络模型进行训练生成目标超分辨率卷积神经网络模型,包括:将所述高清训练图
像、所述低清训练图像和所述蒙版图像输入超分辨率卷积神经网络模型,根据所述蒙版图
像中存储的不同权值分区域计算损失代价结果,根据所述损失代价结果得到所述目标超分
辨率卷积神经网络模型。
率卷积神经网络模型,根据所述蒙版图像中存储的不同权值分区域计算损失代价结果,根
据所述损失代价结果得到所述目标超分辨率卷积神经网络模型,包括:使用超分辨率卷积
神经网络模型对所述低清训练图像进行处理,获取网络输出的高清图像;将所述高清训练
图像、所述网络输出的高清图像以及所述蒙版图像进行运算,计算损失代价结果;根据所述
损失代价结果得到所述目标超分辨率卷积神经网络模型。
括:判断所述损失代价结果是否满足预设条件,若不满足,则调整所述超分辨率卷积神经网
络模型,直至调整后的超分辨率卷积神经网络模型满足所述预设条件,得到所述目标超分
辨率卷积神经网络模型;若满足,则将所述超分辨率卷积神经网络模型作为所述目标超分
辨率卷积神经网络模型。
行运算,计算损失代价结果,包括:
面任一种可能的实现方式所述的图像处理方法。
方式所述的图像处理方法。
种可能的实现方式所述的图像处理方法。
高清训练图像、低清训练图像以及蒙版图像不断学习,进行模型调整得到的,所以可以提升
模型应用设备输出的变焦后的图像的清晰度,以克服传统数码变焦引入的清晰度下降以及
噪点放大等图像质量下降问题。
附图说明
具体实施方式
器的其他处理设备。无线终端可以经无线接入网(Radio Access Network,RAN)与一个或多
个核心网进行通信,无线终端可以是移动终端,如移动电话(或称为“蜂窝”电话)和具有移
动终端的计算机,例如,可以是便携式、袖珍式、手持式、计算机内置的或者车载的移动装
置,它们与无线接入网交换语言和/或数据。例如,个人通信业务(Personal Communication
Service,PCS)电话、无绳电话、会话发起协议(Session Initiation Protocol,SIP)话机、
无线本地环路(Wireless Local Loop,WLL)站、个人数字助理(Personal Digital
Assistant,PDA)等设备。无线终端也可以称为系统、订户单元(Subscriber Unit)、订户站
(Subscriber Station),移动站(Mobile Station)、移动台(Mobile)、远程站(Remote
Station)、远程终端(Remote Terminal)、接入终端(Access Terminal)、用户终端(User
Terminal)、用户代理(User Agent)、用户设备(User Device or User Equipment),在此不
作限定。
后置摄像头可以进行拍摄,从而获取训练图像。每个前置摄像头和后置摄像头可以是一个
具有数码变焦能力的但焦距固定的光学透镜系统,或具有光学变焦能力的光学变焦系统。
其中,训练图像的具体采集过程可以参见下述实施例的具体说明。
分辨率卷积神经网络模型具体指用于实现超分辨率的卷积神经网络模型,实现超分辨率具
体指提高原有图像的分辨率。
一种具体的终端。
举例说明,本申请不以此作为限制。该超分辨率卷积神经网络模型包括多个卷积层和全连
接层,其中,权值参数和偏置参数用于表示该超分辨率卷积神经网络模型。不同的超分辨率
卷积神经网络模型的权值参数和偏置参数不同,其处理性能也不尽相同。
标值为下述的高清训练图像。
如下述实施例的训练,得到目标超分辨率卷积神经网络模型。本申请实施例的“调整超分辨
率卷积神经网络模型”即指调整权值参数和偏置参数。
到的,其中距离的远近、变焦倍率的大小均为二者相对而言,例如1米距离1倍变焦的采集图
像可以作为高清训练图像,2米距离2倍变焦的采集图像可以作为低清训练图像,又如,1米
距离1倍变焦的采集图像可以作为高清训练图像,则N米距离N倍变焦的采集图像可以作为
低清训练图像。其中,N的取值范围与图像采集设备的最大光学变焦倍率有关,具体的,N为
大于图像采集设备的最大光学变焦倍率的任意数,由此可见,低清训练图像为图像采集设
备处于数码变焦时采集的图像。举例而言,图像采集设备的最大光学变焦倍率为2,则上述N
的取值范围为N>2。需要说明的是,N可以是整数,也可以是小数,具体可以根据需求进行灵
活选取。还需要说明的是,若图像采集设备不具备光学变焦能力,则该图像采集设备的最大
光学变焦倍率可以认为是1。
变焦倍率通常是指使用图像插值等数码变焦方法将采集的图像进行对应倍率的图像尺寸
放大。即变焦倍率可以分为光学变焦倍率和数码变焦倍率,其中,高清训练图像的变焦倍率
是指光学变焦倍率,而低清训练图像的变焦倍率是指数码变焦倍率。
申请实施例中,训练数据用于训练超分辨率卷积神经网络模型。该拍摄条件具体指拍摄距
离和变焦倍率,拍摄距离具体指图像采集设备与该场景中的一个目标物之间的距离,满足
拍摄距离的条件具体指拍摄距离等于1米、2米、......、N米,满足变焦倍率的条件具体指变
焦倍率等于1、2、......、N。其中,N为大于图像采集设备的最大光学变焦倍率的任意数。其
中,训练数据的具体构建过程可以参见下述实施例的具体说明。
情况。字符“/”一般表示前后关联对象是一种“或”的关系。
备采集高清训练图像和低清训练图像,训练阶段使用图像采集设备采集的高清训练图像、
低清训练图像以及蒙版学习训练方法对超分辨率卷积神经网络模型进行训练,得到目标超
分辨率卷积神经网络模型。将该目标超分辨率卷积神经网络模型存储于模型应用设备,模
型应用设备开启相机变焦功能采集图像,使用该目标超分辨率卷积神经网络模型对采集到
的图像进行处理,输出处理后的图像,其中,开启相机变焦功能采集图像具体指相机在一个
数码变焦倍率下采集图像,该数码变焦倍率可以是大于2的任意数。
设备、训练服务器也可以是一个终端,上述的训练服务器和模型应用设备也可以是一个终
端,本申请对此不作限制。
组件210,输入/输出(I/O)的接口212,传感器组件214,以及通信组件216。
件202和其他组件之间的交互。例如,处理组件202可以包括多媒体模块,以方便多媒体组件
208和处理组件202之间的交互。
摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与所
述触摸或滑动操作相关的持续时间和压力。多媒体组件208还可以包括一个前置摄像头和/
或后置摄像头。当图像采集设备200处于操作模式,如拍摄模式或视频模式时,前置摄像头
和/或后置摄像头可以拍摄多媒体数据。每个前置摄像头和后置摄像头可以是一个仅具有
数码变焦能力但光学焦距固定的光学透镜系统,或具有光学变焦能力的光学变焦系统。
话簿数据,消息,图片,视频等。存储器204可以由任何类型的易失性或非易失性存储设备或
者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),
可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储
器,快闪存储器,磁盘或光盘。
过通信组件216发送给训练服务器。其中,图像的格式可以是bmp格式、jpg格式、或者JPEG格
式等,具体的格式可以根据需求进行灵活设置。
的采集图像作为高清训练图像;该图像采集设备200使用该图像采集设备的数码变焦能力
采集低清训练图像,例如,该图像采集设备处于2米距离2倍数码变焦采集低清训练图像,即
将2米距离2倍数码变焦的采集图像作为低清训练图像。
训练图像,即将1米距离1倍光学变焦的采集图像作为高清训练图像,该图像采集设备200也
可以处于2米距离2倍光学变焦采集高清训练图像,即将2米距离2倍光学变焦的采集图像作
为高清训练图像,其可以根据需求进行灵活设置;该图像采集设备200使用该图像采集设备
的数码变焦能力采集低清训练图像,例如,该图像采集设备处于N米距离N倍数码变焦采集
低清训练图像,即将N米距离N倍数码变焦的采集图像作为低清训练图像。
同,也可称之为成像质量相同。
率和多倍率。单倍率是指单个模型支持一种变焦倍率图像放大,多倍率是指单个模型同时
支持多种变焦倍率图像放大。
两个拍摄条件,一个为拍摄距离等于1米和光学变焦倍率等于1,另一个为拍摄距离等于N米
和数码变焦倍率等于N,图像采集设备200在满足上述两个拍摄条件时进行拍摄,获取训练
图像,其中,拍摄距离等于1米和光学变焦倍率等于1的图像作为高清训练图像,拍摄距离等
于N米和数码变焦倍率等于N的图像作为低清训练图像。
N相同,不用的变焦倍率取值不同,例如N1=3、N2=5等,则图像采集设备200确定m+1个拍摄
条件,分别为:拍摄距离等于1米和光学变焦倍率等于1、拍摄距离等于N1米和数码变焦倍率
等于N1、拍摄距离等于N2米和数码变焦倍率等于N2、......、拍摄距离等于Nm米和数码变焦
倍率等于Nm。图像采集设备200在满足上述m+1个拍摄条件时进行拍摄,获取训练图像,其
中,拍摄距离等于1米和光学变焦倍率等于1的图像作为高清训练图像,剩余其他的图像均
为低清训练图像。
该现有技术的测距方式可以是激光测距、声波测距等。
光学变焦倍率等于1、拍摄距离等于N1米和数码变焦倍率等于N1、拍摄距离等于N2米和数码
变焦倍率等于N2、......、拍摄距离等于Nm米和数码变焦倍率等于Nm的图像。
图像的内容与模型应用设备的功能相关,举例而言,该模型应用设备是智能手机,那么图像
采集阶段可以对文字、风景、人物等各种场景进行拍摄,获取图像,该图像的内容包括文字、
风景、人物等,该模型应用设备是交通摄像设备,那么图像采集阶段可以对汽车、车牌等场
景进行拍摄,获取图像,该图像的内容包括汽车、车牌等。
和分配电力相关联的组件。音频组件210可以为输出和/或输入音频信号。I/O接口212为处
理组件202和外围接口模块之间提供接口,上述外围接口模块可以是键盘,点击轮,触摸屏,
按钮等。这些按钮可包括但不限于:主页按钮、音量按钮、启动按钮和锁定按钮。传感器组件
214包括一个或多个传感器,用于为图像采集设备200提供各个方面的状态评估。通信组件
216被配置为便于图像采集设备200和其他设备之间有线或无线方式的通信。图像采集设备
200可以接入基于通信标准的无线网络,如WiFi,2G或3G,或它们的组合。在一个示例性实施
例中,通信组件216经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。
在一个示例性实施例中,所述通信组件216还包括近场通信(NFC)模块,以促进短程通信。例
如,在NFC模块可基于射频识别(RFID)技术,红外数据协会(IrDA)技术,超宽带(UWB)技术,
蓝牙(BT)技术和其他技术来实现。
(Central Processing Unit,CPU)、数字信号处理器(digital signal processor,DSP)、微
控制器(Microcontroller Unit,MCU)、专用集成电路(Application Specific Integrated
Circuit,ASIC)或现场可编程逻辑门阵列(Field‑Programmable Gate Array,FPGA)中的至
少一个。该存储器302用于存储程序指令,处理器301用于调用存储器302中的程序指令执行
相应操作。所述程序指令可以以软件功能单元的形式实现并能够作为独立的产品销售或使
用,所述存储器302可以是任意形式的计算机可读取存储介质。
距离等于N米和数码变焦倍率等于N的图像,作为训练数据,即该训练数据包括2个图像,其
中拍摄距离等于1米和变焦倍率等于1的图像为高清训练图像,拍摄距离等于N米和变焦倍
率等于N的图像为低清训练图像。对应于具体训练需求,需要对应数码变焦倍率的图像,与1
米距离1倍变焦的图像构成图像对,该图像对即为训练数据。
倍率等于1的图像、拍摄距离等于3米和数码变焦倍率等于3的图像、拍摄距离等于5米和数
码变焦倍率等于5的图像、拍摄距离等于7米和数码变焦倍率等于7的图像,作为训练数据,
即该训练数据包括4个图像。其中该训练数据中,拍摄距离等于1米和光学变焦倍率等于1的
图像为高清训练图像,剩余其他的图像均为低清训练图像。
网络模型,其中,可以使用多组训练图像对一个超分辨率卷积神经网络模型,训练模型的具
体过程可以参见下述实施例的解释说明。
练服务器的处理器301,如图4所示,本申请的超分辨率卷积神经网络模型的训练方法可以
包括:
值。即将该超分辨率卷积神经网络模型的权值参数和偏置参数,赋值为该初始化的权值参
数和偏置参数。
与拍摄距离等于1米和光学变焦倍率等于1的图像构成一个图像对,将拍摄距离等于N2米和
数码变焦倍率等于N2的图像与拍摄距离等于1米和光学变焦倍率等于1的图像构成一个图
像对,依次类推,将拍摄距离等于Nm米和数码变焦倍率等于Nm的图像与拍摄距离等于1米和
变焦倍率等于1的图像构成一个图像对,各个图像对即为训练数据,即通过图像配准算法对
训练数据进行配准,获取m个图像对,每个图像对包括一个高清训练图像和一个低清训练图
像,本实施例以每个图像对均以拍摄距离等于1米和光学变焦倍率等于1的图像作为高清训
练图像做举例说明。其中,以N2=3为例做举例说,如图6所示,对同一房子的拍摄距离等于3
米和数码变焦倍率等于3的图像,与拍摄距离等于1米和光学变焦倍率等于1的图像构成的
图像对,视场角相同,但清晰度不同,其中,拍摄距离等于3米和数码变焦倍率等于3的图像
为低清训练图像,拍摄距离等于1米和光学变焦倍率等于1的图像为高清训练图像。通过下
述步骤对训练数据的学习,调整步骤101中的模型的权值参数和偏置参数,使得该神经网络
模型的输出尽可能的接近目标值,该目标值具体可以是如图6所示的高清训练图像。
感兴趣区域的权值可以相同也可以不同。
灰度值或者亮度值,利用高频提取算法或者人脸检测算法或者图像分割算法提取出该高清
训练图像中的一种或多种感兴趣区域,该感兴趣的区域可以是图像的高频信息,例如,图像
的细节、轮廓等,以轮廓为例做举例说明,轮廓对应的像素点所在区域即为感兴趣的区域,
生成的蒙版图像的尺寸也为4000*3000,蒙版图像中与高清训练图像的像素点对应的位置
存储有权值,蒙版图像中不同位置的权值可以相同也可以不同。相同区域的权值可以相同,
不同区域的权值可以不同。
趣区域的权值为1,其他区域为0。
脸信息,将人脸信息作为感兴趣区域;再一种可实现方式,利用图像分割算法提取不同的物
体作为不同的感兴趣区域。
模型的输出图像边缘更加锐利,用户主观感受好,而通过下述步骤104可以使得低频信息所
在区域(平坦区域、噪点等)的学习率增加,从而使得目标超分辨率卷积神经网络模型的输
出图像不会有较明显的噪点放大,实现噪点均衡。
差值图像diff进行二值化处理,得到蒙板图像。
104时,其中低清训练图像采用拍摄距离等于N2米和数码变焦倍率等于N2的图像,其他图像
对采用相同的方式进行处理,此处不再赘述。其中,每次执行步骤步骤104时,高清训练图像
均采用拍摄距离等于1米和光学变焦倍率等于1的图像。
积神经网络模型的处理,该处理包括低清训练图像与初始化的权值参数和/或初始化的偏
置参数的运算,具体运算与该超分辨率卷积神经网络模型的结构有关,其可以根据需求进
行灵活设置,得到网络输出的高清图像。将该网络输出的高清图像、高清训练图像和蒙版图
像进行运算,得到一个损失代价结果,根据损失代价结果对步骤101中的超分辨率卷积神经
网络模型进行调整,例如可以设置一个损失代价结果满足的预设条件,一种可实现方式,该
预设条件可以是损失代价结果小于上一次迭代损失代价结果,如果不满足,则可以调整权
值参数和偏置参数,以调整后的权值参数和调整后的偏置参数更新步骤101中的超分辨率
卷积神经网络模型,以调整后的超分辨率卷积神经网络模型重复上述对低清训练图像的处
理,进而计算一个新的损失代价结果,判断该新的损失代价结果是否满足预设条件,如此反
复迭代,直至新的损失代价结果满足预设条件,得到目标超分辨率卷积神经网络模型。
的值,其中灰度值可以使用亮度值替换。损失代价结果的计算也可以根据需求进行其他运
算,此处不一一举例说明。
标2表示2范数,上标2表示平方。即通过公式(1)中的l遍历1至L,对每个像素点进行计算,得
到损失代价结果。
而言,执行步骤103和步骤104时,其中高清训练图像采用拍摄距离等于1米和光学变焦倍率
等于1的图像,低清训练图像采用拍摄距离等于N米和数码变焦倍率等于N的图像。
模型,可以提升得到的目标超分辨率卷积神经网络模型的图像处理的效果。例如,一组训练
数据为对人的场景进行拍照获取的,另一组训练数据为对湖景的场景进行拍照获取的,则
使用该两组训练数据执行步骤102至步骤104,得到目标超分辨率卷积神经网络模型,可以
提升该目标超分辨率卷积神经网络模型处理不同的场景的图像的效果。
像以及蒙版图像不断学习,进行模型调整,获取目标超分辨率卷积神经网络模型,在学习过
程中,由于蒙版图像的输入,使得感兴趣区域权值较高,对损失代价结果影响较大,可以提
升感兴趣区域的学习率,降低其他区域的学习率,从而可以有效提升所获得的目标超分辨
率卷积神经网络模型的图像处理的效果。将该目标超分辨率卷积神经网络模型应用于模型
应用设备中,可以提升模型应用设备输出的变焦后的图像的清晰度。
说明,网络输出的高清图像的各个像素值和高清训练图像的相应位置的像素值相减,再乘
以蒙版图像中相应位置的值,由于感兴趣区域的权值为1,其他区域为0,那么损失代价结果
完全由感兴趣区域决定,在损失代价结果不满足条件时,调整初始化超分辨率卷积神经网
络模型的参数,以使得根据蒙版图像计算的损失代价结果满足条件,在模型调整,即学习过
程中,仅涉及对该感兴趣区域的学习。由此可见,由于蒙版图像的不同区域的权值不同,使
得模型对不同区域的学习率不同。
型。具体的,目标超分辨率卷积神经网络模型可以以文件、程序或指令等形式,存储于模型
应用设备的存储器中,当模型应用设备处于拍摄模式,并触发相机的数码变焦功能时,模型
应用设备的处理器调用存储器中该目标超分辨率卷积神经网络模型,对模型应用设备的摄
像头拍摄到的图像进行处理,得到输出图像,将该输出图像显示在该模型应用设备的触控
显示屏上。
应用包括启动摄像头和在触控显示屏显示相机操作界面,在相机操作界面中可以包括摄像
头采集的图像,还可以包括变焦按钮等控件。可以理解,当启动了相机应用后,如果触控显
示屏正在显示拍照的界面,则摄像头可以持续的采集图像,触控显示屏可以显示这些持续
采集的图像,该摄像头采集的图像为待变焦图像。可选的,摄像头可以在变焦功能开启之后
再开始采集图像,触控显示屏显示该待变焦图像。
焦功能的触发操作对应的指令,处理器根据该开启变焦功能的触发操作确定目标变焦倍
率,启动目标变焦倍率对应的变焦功能。其中,在该实现方式中,该开启变焦功能的触发操
作例如可以是放大相机操作界面中当前显示的图像的双指滑动手势,或者是按下了变焦按
钮的手势等,本申请实施例对此不做限定。另一种可实现方式,响应于该开启变焦功能的触
发操作对应的指令,处理器在相机操作界面中增加变焦功能界面,触控显示屏显示变焦功
能界面,例如是一个表示变焦倍数的滑动条,触控显示屏接收用户在该变焦功能界面的选
择输入,处理器根据该输入确定目标变焦倍率,处理器启动目标变焦倍率对应的变焦功能,
可以理解,目标变焦倍率通常大于1。
式。当目标变焦倍率等于模型应用设备的最大光学变焦倍率时,即可采用光学变焦对待变
焦图像进行处理,也可以采用数码变焦对待变焦图像进行处理。
焦倍率采集待处理图像,使用目标超分辨率卷积神经网络模型对待处理图像进行处理,以
得到与所述目标变焦倍率对应的处理后的图像,将该处理后的图像显示在该模型应用设备
的触控显示屏上。其中当该目标变焦倍率大于模型应用设备的最大光学变焦倍率时,启动
目标变焦倍率对应的变焦功能可以理解为启动相应倍率的数码变焦功能。
到对应目标变焦倍率的处理后的图像。具体的,处理器根据目标变焦倍率采集待处理图像,
使用目标超分辨率卷积神经网络模型对待处理图像进行处理,以得到与所述目标变焦倍率
对应的处理后的图像,该模型应用设备的触控显示屏显示将该处理后的图像。
拍照时间,地点等信息保存。
率中的每一个的取值范围与N相同,不用的变焦倍率取值不同,则可以根据模型应用设备的
设备硬件条件或使用需求,选取部分或全部的目标超分辨率卷积神经网络模型设置该模型
应用设备,下面以得到的多个单倍率包括{1,2,......,10}为例做举例说明,一种可实现方
式,可以在模型应用设备中设置大于1且小于10的偶数倍变焦倍率的目标超分辨率卷积神
经网络模型,例如,可以在模型应用设备中设置2倍变焦倍率的目标超分辨率卷积神经网络
模型、4倍变焦倍率的目标超分辨率卷积神经网络模型、6倍变焦倍率的目标超分辨率卷积
神经网络模型、8倍变焦倍率的目标超分辨率卷积神经网络模型、以及10倍变焦倍率的目标
超分辨率卷积神经网络模型。另一种可实现方式,可以在模型应用设备中设置大于2且小于
10的奇数倍变焦倍率的目标超分辨率卷积神经网络模型,例如,可以在模型应用设备中设
置3倍变焦倍率的目标超分辨率卷积神经网络模型、5倍变焦倍率的目标超分辨率卷积神经
网络模型、7倍变焦倍率的目标超分辨率卷积神经网络模型、以及9倍变焦倍率的目标超分
辨率卷积神经网络模型。在一种可实现方式,可以设置大于1且小于等于10的整数倍变焦倍
率的目标超分辨率卷积神经网络模型。
若是,则处理器使用该X变焦倍率的目标超分辨率卷积神经网络模型对待处理图像进行处
理,输出处理后的图像。若否,处理器使用Y变焦倍率的目标超分辨率卷积神经网络模型对
待处理图像进行处理,得到一中间结果,其中,Y为模型应用设备中小于X的最大的变焦倍
率,再使用现有技术的非学习的线性插值算法对该中间结果进行(X‑Y)倍变焦,输出处理后
的图像。下面,以X=4,Y=3为例做举例说明,处理器使用该3变焦倍率的目标超分辨率卷积
神经网络模型对待处理图像进行处理,得到一中间结果,再使用现有技术的非学习的线性
插值算法对该中间结果进行1倍变焦,输出处理后的图像。
用该 变焦倍率的目标超分辨率卷积神经网络模型对待处理图像进行处理,得到一中间
结果,再使用现有技术的非学习的线性插值算法对该中间结果进行 倍变焦,输出
处理后的图像。若否,处理器使用Y变焦倍率的目标超分辨率卷积神经网络模型对待处理图
像进行处理,得到一中间结果,其中,Y为模型应用设备中小于X的最大的变焦倍率,再使用
现有技术的非学习的线性插值算法对该中间结果进行(X‑Y)倍变焦,输出处理后的图像。下
面,以X=4.5,Y=3为例做举例说明,处理器使用该3变焦倍率的目标超分辨率卷积神经网
络模型对待处理图像进行处理,得到一中间结果,再使用现有技术的非学习的线性插值算
法对该中间结果进行1.5倍变焦,输出处理后的图像。
中存储的不同变焦倍率的目标超分辨率卷积神经网络模型的个数越少,则可以节省该模型
应用设备的存储空间。其可以根据需求进行灵活设置。
辨率卷积神经网络模型支持多个不同变焦倍率。目标变焦倍率X大于模型应用设备的最大
光学变焦倍率时,该模型应用设备的处理器的具体操作可以为判断所述多倍率是否包括所
述目标变焦倍率X,若是,将所述待处理图像输入所述目标超分辨率卷积神经网络模型,使
用所述目标超分辨率卷积神经网络模型对所述待处理图像进行处理,输出处理后的图像;
若否,使用所述目标超分辨率卷积神经网络模型对所述待处理图像进行处理,获取中间结
果,使用线性插值算法对所述中间结果进行X‑Z倍变焦,输出处理后的图像,其中,X为所述
目标变焦倍率,Z为所述多倍率中小于X的最大的变焦倍率。
理的图像,该输入图像的清晰度低,输出图像为本实施例的处理后的图像,终端在启动数码
变焦后显示该处理后的图像。该输出图像的清晰度高。由此可见,经过本申请的目标超分辨
率卷积神经网络模型的处理,可以有效提升该模型应用设备的变焦后的图像的清晰度。本
实施例,模型应用设备通过目标超分辨率卷积神经网络模型对待处理图像进行处理,输出
处理后的图像,由于该目标超分辨率卷积神经网络模型是根据高清训练图像、低清训练图
像以及蒙版图像不断学习,进行模型调整得到的,所以可以提升模型应用设备输出的变焦
后的图像的清晰度,以克服传统数码变焦引入的清晰度下降以及噪点放大等图像质量下降
问题。
务器对超分辨率卷积神经网络模型进行训练,其具体实现方式可以参见上述实施例的解释
说明,此处不再赘述。
然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进
行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术
方案的范围。