一种基于双树四元小波与深度学习的图像去噪方法及系统转让专利
申请号 : CN202110711650.7
文献号 : CN113362250B
文献日 : 2022-03-22
发明人 : 盖杉 , 郝志伟
申请人 : 南昌航空大学
摘要 :
权利要求 :
1.一种基于双树四元小波与深度学习的图像去噪方法,其特征在于,包括:构建去噪网络模型;所述去噪网络模型包括:一个3*3卷积层、递归连接的四个残差双注意力机制模块;所述残差双注意力机制模块包括:八个双重注意力机制单元、一个3*3卷积层以及残差单元;所述双重注意力机制单元包括:一个3*3卷积层、PReLU激活函数、一个
3*3卷积层依次连接,并同时连接通道注意力机制块和空间注意力机制块;所述通道注意力机制块用于利用卷积特征通道间的相关性;所述空间注意力机制块用于利用特征的空间关系;
利用训练数据集,采用Adam优化算法,训练所述去噪网络模型,确定训练后的去噪网络模型;
利用测试数据集对训练后的去噪网络模型进行测试;
所述利用训练数据集,采用Adam优化算法,训练所述去噪网络模型,确定训练后的去噪网络模型,具体包括:
获取初始图像;
将所述初始图像转换为raw图片,并在raw图片中注入噪声,进而将注入噪声后的raw图片转换为RGB图片;
对所述RGB图片进行双树四元小波分解,得到幅值图和相位图;
对所述幅值图和相位图分别进行数据增强处理,得到幅值图数据集和相位图数据集;
所述幅值图数据集和相位图数据集为训练数据集;
利用所述幅值图数据集和所述相位图数据集分别对所述去噪网络模型中的参数进行训练;
根据网络训练反向传播过程中目标损失函数数值判断是否达到收敛的指定迭代训练的轮数;
若达到,则将经过训练好的去噪网络模型的幅值图与相位图,进行双树四元小波逆变换,得到去噪图像,并保存最终的网络模型参数,得到训练后的去噪网络模型;
若未达到,则返回所述根据目标损失函数数值判断是否达到收敛的指定迭代训练的轮数的步骤。
2.根据权利要求1所述的一种基于双树四元小波与深度学习的图像去噪方法,其特征在于,所述对所述幅值图和相位图分别进行数据增强处理,得到幅值图数据集和相位图数据集,具体包括:
对所述幅值图和相位图分别进行随机裁剪、不同角度翻转以及补光处理。
3.根据权利要求1所述的一种基于双树四元小波与深度学习的图像去噪方法,其特征在于,所述通道注意力机制块首先进行压缩操作,以便对空间全局上下文进行编码;所述压缩操作是通过在特征图上应用全局平均池化和全局最大池化,将池化的结果用一个3*3卷积层、ReLU激活函数、3*3卷积层进行特征校准,将校准后的结果进行拼接,再通过Sigmoid激活函数得到各特征图所占权重比例,最终使用残差得到通道注意力机制块的输出。
4.根据权利要求1所述的一种基于双树四元小波与深度学习的图像去噪方法,其特征在于,所述空间注意力机制块利用特征图之间的空间关系并计算空间关注图,为了生成空间关注图,首先沿着通道维度对特征图进行全局平均池化和全局最大池化,并连接输出图并以形成空间特征描述,随后以一个1*1卷积校准特征图,最后以Sigmoid激活函数和残差乘获得空间注意力图。
5.根据权利要求1所述的一种基于双树四元小波与深度学习的图像去噪方法,其特征在于,所述利用测试数据集对训练后的去噪网络模型进行测试,之后还包括:将测试集得到的去噪图像与干净图像进行对比,确定图像质量评估指标;所述图像质量评估指标包括:结构相似性指标和峰值信噪比指标。
6.一种基于双树四元小波与深度学习的图像去噪系统,其特征在于,包括:去噪网络模型构建模块,用于构建去噪网络模型;所述去噪网络模型包括:一个3*3卷积层、递归连接的四个残差双注意力机制模块;所述残差双注意力机制模块包括:八个双重注意力机制单元、一个3*3卷积层以及残差单元;所述双重注意力机制单元包括:一个3*3卷积层、PReLU激活函数、一个3*3卷积层依次连接,并同时连接通道注意力机制块和空间注意力机制块;所述通道注意力机制块用于利用卷积特征通道间的相关性;所述空间注意力机制块用于利用特征的空间关系;
训练后的去噪网络模型确定模块,用于利用训练数据集,采用Adam优化算法,训练所述去噪网络模型,确定训练后的去噪网络模型;
训练后的去噪网络模型测试模块,用于利用测试数据集对训练后的去噪网络模型进行测试;
所述训练后的去噪网络模型确定模块具体包括:初始图像获取单元,用于获取初始图像;
初始图像转换单元,用于将所述初始图像转换为raw图片,并在raw图片中注入噪声,进而将注入噪声后的raw图片转换为RGB图片;
双树四元小波分解单元,用于对所述RGB图片进行双树四元小波分解,得到幅值图和相位图;
训练数据集确定单元,用于对所述幅值图和相位图分别进行数据增强处理,得到幅值图数据集和相位图数据集;所述幅值图数据集和相位图数据集为训练数据集;
模型训练单元,用于利用所述幅值图数据集和所述相位图数据集分别对所述去噪网络模型中的参数进行训练;
判断单元,用于根据网络训练反向传播过程中目标损失函数数值判断是否达到收敛的指定迭代训练的轮数;
去噪图像确定单元,用于若达到,则将经过训练好的去噪网络模型的幅值图与相位图,进行双树四元小波逆变换,得到去噪图像,并保存最终的网络模型参数,得到训练后的去噪网络模型;
迭代单元,用于若未达到,则返回所述根据目标损失函数数值判断是否达到收敛的指定迭代训练的轮数的步骤。
7.根据权利要求6所述的一种基于双树四元小波与深度学习的图像去噪系统,其特征在于,所述训练数据集确定单元具体包括:训练数据集确定子单元,对所述幅值图和相位图分别进行随机裁剪、不同角度翻转以及补光处理。
说明书 :
一种基于双树四元小波与深度学习的图像去噪方法及系统
技术领域
背景技术
高级视觉任务需要更加高质量的清晰图像,因此图像去噪任务是一个十分重要的研究课
题。
噪任务,使用中值滤波算法完成去噪任务,使用小波变换完成去噪任务。另一方面是基于深
度学习的去噪方法,为了通过模型处理多个低级任务,提出了一种由卷积,批量归一化,校
正线性单元和残差学习组成的D‑CNN(前馈去噪卷积神经网络);CBDnet(卷积盲去噪网络),
通过两个子网络去除给定的真实噪声图像中的噪声,一个子网络估计真实噪声图像中的噪
声,一个子网络负责获得干净图像。
波变换)、CWT(复小波变换)的一种拓展,是离散小波变换和复小波变换与二维希尔伯特变
换结合的结果。
生128×1600张40×40的训练图片。对于测试数据,采用另外80张清晰图片进行相同方法的
加噪处理,其中12张用于训练过程中的模型评估,另外68张用于最终训练模型的性能测试。
残差学习公式来训练一个残差映射,以实现快速训练提高去噪性能。
图像之间的均方误差作为损失函数。
估。
learning(残差学习)和batch normalization(批量标准化)在图像复原中相辅相成的作
用,可以在较深的网络的条件下,依然能带来快的收敛和好的性能。在高斯去噪问题下,用
单模型应对不同程度的高斯噪音;甚至可以用单模型应对高斯去噪、超分辨率、JPEG去锁三
个领域的问题。通过该论文的方法以及其实验数据表明,它的去噪效果与传统的去噪算法
的去噪效果相比,它的去噪效果的确提升了很多,解决了传统去噪方法的瓶颈问题。
并且对设备的要求较高,会浪费一定资源在非重点的特征学习上,不能做到按需分配资源。
练速度(正因为克服了梯度消失问题,训练才会快)。但是还存在以下缺点:输入负数,则完
全不激活,ReLU函数值为0。ReLU函数输出要么是0,要么是正数,也就是ReLU函数不是以0为
中心的函数。如果这些缺点发生了,那么这个神经元的梯度就永远都会是0,在实际的操作
中如果我们的学习率设置的比较大,那么我们的神经网络中40%的神经元都会“die”,使得
负轴信息全部丢失,相对来说可利用的信息就变得少了。
发明内容
3卷积层以及残差单元;所述双重注意力机制单元包括:一个3*3卷积层、PReLU激活函数、一
个3*3卷积层依次连接,并同时连接通道注意力机制块和空间注意力机制块;所述通道注意
力机制块用于利用卷积特征通道间的相关性;所述空间注意力机制块用于利用特征的空间
关系;
用一个3*3卷积层、ReLU激活函数、3*3卷积层进行特征校准,将校准后的结果进行拼接,再
通过Sigmoid激活函数得到各特征图所占权重比例,最终使用残差得到通道注意力机制块
的输出。
连接输出图并以形成空间特征描述,随后以一个1*1卷积校准特征图,最后以Sigmoid激活
函数和残差乘获得空间注意力图。
双重注意力机制单元、一个3*3卷积层以及残差单元;所述双重注意力机制单元包括:一个
3*3卷积层、PReLU激活函数、一个3*3卷积层依次连接,并同时连接通道注意力机制块和空
间注意力机制块;所述通道注意力机制块用于利用卷积特征通道间的相关性;所述空间注
意力机制块用于利用特征的空间关系;
的去噪网络模型;
富的特征。去噪网络模型在增加双通道注意力机制的基础上,还结合了残差学习,防止网络
训练过程中轻易的梯度消失。本发明没有采用过深过复杂的网络结构,而是采用结构清晰
的递归模块,这使得网络训练会大大节省训练时间,在训练时的收敛速度上快于DnCNN,增
加双注意力机制模块,使网络在训练过程中资源倾斜聚焦于丰富且明显的特征上。在去噪
性能上,本发明最终在SIDD数据集上的的去噪效果用平均峰值信噪比来衡量的话,通过实
验数据表明本发明方法的去噪效果超过了DnCNN方法。
附图说明
例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图
获得其他的附图。
具体实施方式
本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他
实施例,都属于本发明保护的范围。
图,如图1和图2一种基于双树四元小波与深度学习的图像去噪方法,包括:
制模块包括:八个双重注意力机制单元(Dual Attention model,DAM)、一个3*3卷积层以及
残差单元;所述双重注意力机制单元包括:一个3*3卷积层、PReLU激活函数、一个3*3卷积层
依次连接,并同时连接通道注意力机制块和空间注意力机制块;所述通道注意力机制块用
于利用卷积特征通道间的相关性;所述空间注意力机制块用于利用特征的空间关系;
图5所示。
3卷积层、ReLU激活函数、3*3卷积层进行特征校准,将校准后的结果进行拼接,再通过
Sigmoid激活函数得到各特征图所占权重比例,最终使用残差得到通道注意力机制块的输
出。
的结果进行拼接,再通过Sigmoid激活函数得到各特征图所占权重比例,最终使用残差得到
通道注意力机制块的输出。
图并以形成空间特征描述,随后以一个1*1卷积校准特征图,最后以Sigmoid激活函数和残
差乘获得空间注意力图。
获得空间注意力图。
的去噪网络模型;采用残差学习公式来学习图像特征并同时使用权重衰减率为10 ,并且每
隔25个周期学习率降低十倍,冲量为0.9,mini‑batch设置成16的随机梯度下降算法进行可
训练参数的反向更新优化,设置总训练轮数为65轮。目标损失函数如下:
方向的幅值图与不同方向的12张相位图,然后再将幅值图与相位图分为两类,分别对其进
行数据增强处理,通过对图片进行随机裁剪,不同角度翻转,补光,最终实现8万张patch‑
size为100*100大小的噪声图片训练数据集。
面二者的图像分析与处理能力,又在解析域中展现了一些新的特性,主要表现在对内维等
于2的图像结构的分析能力。目前彩色图像处理系统基本上都是基于单色图像处理系统而
建立的,它们把彩色通道作为独立分量各个处理,彩色分量之间的相关信息,无法提取且易
出现颜色失真。而四元数天然具有描述彩色图像的良好特性,因为常用的彩色模型RGB,
HIS,CMY,CMYK等均可以用一个纯四元数唯一表征。四元小波变换能将多个彩色通道信息作
为单元统一处理,从而对彩色图像实现更有效的稀疏表示和特殊处理。
其系数运动是一个幅度和三个相位:两个相位编码局部图像移位,而第三个相位包含了图
像纹理信息。这对于图像去噪在卷积神经网络的特征提取阶段有着明显不错的优势。
行评估,通过峰值信噪比(PNSR)和结构相似性(SSIM)进行性能评估。
境下,在Intel(R)core(TM)i5‑5820KCPU 3.30GHz的PC上和一个Nvidia Titan X GPU下完
成。
件下,训练相同的训练数据集时,比DnCNN节省了不少训练收敛时间,其在训练效率上表现
的非常可观。与DnCNN去噪效果图对比如图7所示。
括:
八个双重注意力机制单元、一个3*3卷积层以及残差单元;所述双重注意力机制单元包括:
一个3*3卷积层、PReLU激活函数、一个3*3卷积层依次连接,并同时连接通道注意力机制块
和空间注意力机制块;所述通道注意力机制块用于利用卷积特征通道间的相关性;所述空
间注意力机制块用于利用特征的空间关系;
的去噪网络模型;
而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说
明即可。
本发明的思想,在具体实施方式及应用范围上均会有改变之处。综上所述,本说明书内容不
应理解为对本发明的限制。