一种基于双树四元小波与深度学习的图像去噪方法及系统转让专利

申请号 : CN202110711650.7

文献号 : CN113362250B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 盖杉郝志伟

申请人 : 南昌航空大学

摘要 :

本发明涉及一种基于双树四元小波与深度学习的图像去噪方法及系统。该方法包括:构建去噪网络模型;利用训练数据集,采用Adam优化算法,训练所述去噪网络模型,确定训练后的去噪网络模型;利用测试数据集对训练后的去噪网络模型进行测试。本发明在提高噪声图像去噪效率的同时,提高去噪效果。

权利要求 :

1.一种基于双树四元小波与深度学习的图像去噪方法,其特征在于,包括:构建去噪网络模型;所述去噪网络模型包括:一个3*3卷积层、递归连接的四个残差双注意力机制模块;所述残差双注意力机制模块包括:八个双重注意力机制单元、一个3*3卷积层以及残差单元;所述双重注意力机制单元包括:一个3*3卷积层、PReLU激活函数、一个

3*3卷积层依次连接,并同时连接通道注意力机制块和空间注意力机制块;所述通道注意力机制块用于利用卷积特征通道间的相关性;所述空间注意力机制块用于利用特征的空间关系;

利用训练数据集,采用Adam优化算法,训练所述去噪网络模型,确定训练后的去噪网络模型;

利用测试数据集对训练后的去噪网络模型进行测试;

所述利用训练数据集,采用Adam优化算法,训练所述去噪网络模型,确定训练后的去噪网络模型,具体包括:

获取初始图像;

将所述初始图像转换为raw图片,并在raw图片中注入噪声,进而将注入噪声后的raw图片转换为RGB图片;

对所述RGB图片进行双树四元小波分解,得到幅值图和相位图;

对所述幅值图和相位图分别进行数据增强处理,得到幅值图数据集和相位图数据集;

所述幅值图数据集和相位图数据集为训练数据集;

利用所述幅值图数据集和所述相位图数据集分别对所述去噪网络模型中的参数进行训练;

根据网络训练反向传播过程中目标损失函数数值判断是否达到收敛的指定迭代训练的轮数;

若达到,则将经过训练好的去噪网络模型的幅值图与相位图,进行双树四元小波逆变换,得到去噪图像,并保存最终的网络模型参数,得到训练后的去噪网络模型;

若未达到,则返回所述根据目标损失函数数值判断是否达到收敛的指定迭代训练的轮数的步骤。

2.根据权利要求1所述的一种基于双树四元小波与深度学习的图像去噪方法,其特征在于,所述对所述幅值图和相位图分别进行数据增强处理,得到幅值图数据集和相位图数据集,具体包括:

对所述幅值图和相位图分别进行随机裁剪、不同角度翻转以及补光处理。

3.根据权利要求1所述的一种基于双树四元小波与深度学习的图像去噪方法,其特征在于,所述通道注意力机制块首先进行压缩操作,以便对空间全局上下文进行编码;所述压缩操作是通过在特征图上应用全局平均池化和全局最大池化,将池化的结果用一个3*3卷积层、ReLU激活函数、3*3卷积层进行特征校准,将校准后的结果进行拼接,再通过Sigmoid激活函数得到各特征图所占权重比例,最终使用残差得到通道注意力机制块的输出。

4.根据权利要求1所述的一种基于双树四元小波与深度学习的图像去噪方法,其特征在于,所述空间注意力机制块利用特征图之间的空间关系并计算空间关注图,为了生成空间关注图,首先沿着通道维度对特征图进行全局平均池化和全局最大池化,并连接输出图并以形成空间特征描述,随后以一个1*1卷积校准特征图,最后以Sigmoid激活函数和残差乘获得空间注意力图。

5.根据权利要求1所述的一种基于双树四元小波与深度学习的图像去噪方法,其特征在于,所述利用测试数据集对训练后的去噪网络模型进行测试,之后还包括:将测试集得到的去噪图像与干净图像进行对比,确定图像质量评估指标;所述图像质量评估指标包括:结构相似性指标和峰值信噪比指标。

6.一种基于双树四元小波与深度学习的图像去噪系统,其特征在于,包括:去噪网络模型构建模块,用于构建去噪网络模型;所述去噪网络模型包括:一个3*3卷积层、递归连接的四个残差双注意力机制模块;所述残差双注意力机制模块包括:八个双重注意力机制单元、一个3*3卷积层以及残差单元;所述双重注意力机制单元包括:一个3*3卷积层、PReLU激活函数、一个3*3卷积层依次连接,并同时连接通道注意力机制块和空间注意力机制块;所述通道注意力机制块用于利用卷积特征通道间的相关性;所述空间注意力机制块用于利用特征的空间关系;

训练后的去噪网络模型确定模块,用于利用训练数据集,采用Adam优化算法,训练所述去噪网络模型,确定训练后的去噪网络模型;

训练后的去噪网络模型测试模块,用于利用测试数据集对训练后的去噪网络模型进行测试;

所述训练后的去噪网络模型确定模块具体包括:初始图像获取单元,用于获取初始图像;

初始图像转换单元,用于将所述初始图像转换为raw图片,并在raw图片中注入噪声,进而将注入噪声后的raw图片转换为RGB图片;

双树四元小波分解单元,用于对所述RGB图片进行双树四元小波分解,得到幅值图和相位图;

训练数据集确定单元,用于对所述幅值图和相位图分别进行数据增强处理,得到幅值图数据集和相位图数据集;所述幅值图数据集和相位图数据集为训练数据集;

模型训练单元,用于利用所述幅值图数据集和所述相位图数据集分别对所述去噪网络模型中的参数进行训练;

判断单元,用于根据网络训练反向传播过程中目标损失函数数值判断是否达到收敛的指定迭代训练的轮数;

去噪图像确定单元,用于若达到,则将经过训练好的去噪网络模型的幅值图与相位图,进行双树四元小波逆变换,得到去噪图像,并保存最终的网络模型参数,得到训练后的去噪网络模型;

迭代单元,用于若未达到,则返回所述根据目标损失函数数值判断是否达到收敛的指定迭代训练的轮数的步骤。

7.根据权利要求6所述的一种基于双树四元小波与深度学习的图像去噪系统,其特征在于,所述训练数据集确定单元具体包括:训练数据集确定子单元,对所述幅值图和相位图分别进行随机裁剪、不同角度翻转以及补光处理。

说明书 :

一种基于双树四元小波与深度学习的图像去噪方法及系统

技术领域

[0001] 本发明涉及图像去噪领域,特别是涉及一种基于双树四元小波与深度学习的图像去噪方法及系统。

背景技术

[0002] 神经网络与深度学习领域的迅速崛起,带动了计算机视觉领域的蓬勃发展作为计算机视觉领域的底层任务,图像去噪被广泛运用于各个计算机视觉任务领域,越来越多的
高级视觉任务需要更加高质量的清晰图像,因此图像去噪任务是一个十分重要的研究课
题。
[0003] 目前的去噪算法主要包括两个方面:一个方面是传统的图像去噪算法,如K‑SVD算法(一种十分经典的字典学习算法),BM3D(3维块匹配滤波算法),使用均值滤波算法完成去
噪任务,使用中值滤波算法完成去噪任务,使用小波变换完成去噪任务。另一方面是基于深
度学习的去噪方法,为了通过模型处理多个低级任务,提出了一种由卷积,批量归一化,校
正线性单元和残差学习组成的D‑CNN(前馈去噪卷积神经网络);CBDnet(卷积盲去噪网络),
通过两个子网络去除给定的真实噪声图像中的噪声,一个子网络估计真实噪声图像中的噪
声,一个子网络负责获得干净图像。
[0004] 在小波分析领域,QWT(四元小波变换)作为一种新兴的多尺度图像分析工具,它是一种近似平移不变的紧框架表示方法,从解析角度来看,QWT(四元小波变换)是DWT(离散小
波变换)、CWT(复小波变换)的一种拓展,是离散小波变换和复小波变换与二维希尔伯特变
换结合的结果。
[0005] Deep CNN denoiser prior for image Restoration论文中所提到的D‑CNN方法,具体包括以下内容:
[0006] 1)训练和测试数据:对于网络的训练数据,本论文首先使用了400张清晰的图片,然后对这400张图片进行随机裁剪并加入不同标准差的高斯噪声等数据增强处理,最终产
生128×1600张40×40的训练图片。对于测试数据,采用另外80张清晰图片进行相同方法的
加噪处理,其中12张用于训练过程中的模型评估,另外68张用于最终训练模型的性能测试。
[0007] 2)参数设置和网格训练:DnCNN主要更改了VGGNet模型,采用残差学习,并与批量归一化相结合,移除了原网络中的池化层,同时隐藏层采用ReLU函数来进行激活,最后采用
残差学习公式来训练一个残差映射,以实现快速训练提高去噪性能。
[0008] 3)网络结构:DnCNN有三种类型的结构,如图1分别用三种颜色表示,
[0009] Conv+ReLU层:使用3*3*Channel(channel表示通道数)的64个滤波器来生成64个特征图,然后使用ReLU函数来进行激活每层的神经元。
[0010] Conv+BN+ReLU层:使用规模为3*3*64的滤波器,并在卷积层和激活函数ReLU中添加批量归一化BN。
[0011] Conv层:使用规模为3*3*64的滤波器来重构图像。
[0012] 参数设置:为了捕获足够的空间信息进行去噪,该网络结构设置了18层,其中训练过程中首先进行权重初始化,接着采用在期望得到的残差图像和从含噪声的输入中估计的
图像之间的均方误差作为损失函数。
[0013] 4)模型的评估与对比分析:在模型对训练数据集进行训练和优化后,通过由测试数据对训练好的模型进行评估,通过峰值信噪比(PNSR)和结构相似性(SSIM)进行性能评
估。
[0014] 该论文提出使用卷积通过端到端的残差学习,从函数回归角度用卷积神经网络将噪声从噪声图像中分离出来,从而取得显著优于其他方法的去噪结果,强调了residual 
learning(残差学习)和batch normalization(批量标准化)在图像复原中相辅相成的作
用,可以在较深的网络的条件下,依然能带来快的收敛和好的性能。在高斯去噪问题下,用
单模型应对不同程度的高斯噪音;甚至可以用单模型应对高斯去噪、超分辨率、JPEG去锁三
个领域的问题。通过该论文的方法以及其实验数据表明,它的去噪效果与传统的去噪算法
的去噪效果相比,它的去噪效果的确提升了很多,解决了传统去噪方法的瓶颈问题。
[0015] 但是仍存在着几点不足:
[0016] 1、该方法采用卷积神经网络,构建去噪网络模型,经过一定的迭代次数不断学习图像特征,最终恢复图像,得到干净图像,这就会在效率上有所降低,需要耗费大量的时间,
并且对设备的要求较高,会浪费一定资源在非重点的特征学习上,不能做到按需分配资源。
[0017] 2、论文中的卷积神经网络算法,它的隐藏层使用的激活函数为目前很受欢迎的ReLU函数;ReLU相比sigmod函数与tanh函数有以下几个优点:克服梯度消失的问题。加快训
练速度(正因为克服了梯度消失问题,训练才会快)。但是还存在以下缺点:输入负数,则完
全不激活,ReLU函数值为0。ReLU函数输出要么是0,要么是正数,也就是ReLU函数不是以0为
中心的函数。如果这些缺点发生了,那么这个神经元的梯度就永远都会是0,在实际的操作
中如果我们的学习率设置的比较大,那么我们的神经网络中40%的神经元都会“die”,使得
负轴信息全部丢失,相对来说可利用的信息就变得少了。
[0018] 综上所述,为解决以上存在的缺点,亟需一种新的去噪算法能在高斯图像的去噪效率上有显著的提升的同时又能在去噪性能上达到一个更好的去噪效果。

发明内容

[0019] 本发明的目的是提供一种基于双树四元小波与深度学习的图像去噪方法及系统,在提高噪声图像去噪效率的同时,提高去噪效果。
[0020] 为实现上述目的,本发明提供了如下方案:
[0021] 一种基于双树四元小波与深度学习的图像去噪方法,包括:
[0022] 构建去噪网络模型;所述去噪网络模型包括:一个3*3卷积层、递归连接的四个残差双注意力机制模块;所述残差双注意力机制模块包括:八个双重注意力机制单元、一个3*
3卷积层以及残差单元;所述双重注意力机制单元包括:一个3*3卷积层、PReLU激活函数、一
个3*3卷积层依次连接,并同时连接通道注意力机制块和空间注意力机制块;所述通道注意
力机制块用于利用卷积特征通道间的相关性;所述空间注意力机制块用于利用特征的空间
关系;
[0023] 利用训练数据集,采用Adam优化算法,训练所述去噪网络模型,确定训练后的去噪网络模型;
[0024] 利用测试数据集对训练后的去噪网络模型进行测试。
[0025] 可选地,所述利用训练数据集,采用Adam优化算法,训练所述去噪网络模型,确定训练后的去噪网络模型,具体包括:
[0026] 获取初始图像;
[0027] 将所述初始图像转换为raw图片,并在raw图片中注入噪声,进而将注入噪声后的raw图片转换为RGB图片;
[0028] 对所述RGB图片进行双树四元小波分解,得到幅值图和相位图;
[0029] 对所述幅值图和相位图分别进行数据增强处理,得到幅值图数据集和相位图数据集;所述幅值图数据集和相位图数据集为训练数据集;
[0030] 利用所述幅值图数据集和所述相位图数据集分别对所述去噪网络模型中的参数进行训练;
[0031] 根据网络训练反向传播过程中目标损失函数数值判断是否达到收敛的指定迭代训练的轮数;
[0032] 若达到,则将经过训练好的去噪网络模型的幅值图与相位图,进行双树四元小波逆变换,得到去噪图像,并保存最终的网络模型参数,得到训练后的去噪网络模型;
[0033] 若未达到,则返回所述根据目标损失函数数值判断是否达到收敛的指定迭代训练的轮数的步骤。
[0034] 可选地,所述对所述幅值图和相位图分别进行数据增强处理,得到幅值图数据集和相位图数据集,具体包括:
[0035] 对所述幅值图和相位图分别进行随机裁剪、不同角度翻转以及补光处理。
[0036] 可选地,所述通道注意力机制块首先进行压缩操作,以便对空间全局上下文进行编码;所述压缩操作是通过在特征图上应用全局平均池化和全局最大池化,将池化的结果
用一个3*3卷积层、ReLU激活函数、3*3卷积层进行特征校准,将校准后的结果进行拼接,再
通过Sigmoid激活函数得到各特征图所占权重比例,最终使用残差得到通道注意力机制块
的输出。
[0037] 可选地,所述空间注意力机制块利用特征图之间的空间关系并计算空间关注图,为了生成空间关注图,首先沿着通道维度对特征图进行全局平均池化和全局最大池化,并
连接输出图并以形成空间特征描述,随后以一个1*1卷积校准特征图,最后以Sigmoid激活
函数和残差乘获得空间注意力图。
[0038] 可选地,所述利用测试数据集对训练后的去噪网络模型进行测试,之后还包括:
[0039] 将测试集得到的去噪图像与干净图像进行对比,确定图像质量评估指标;所述图像质量评估指标包括:结构相似性指标和峰值信噪比指标。
[0040] 一种基于双树四元小波与深度学习的图像去噪系统,包括:
[0041] 去噪网络模型构建模块,用于构建去噪网络模型;所述去噪网络模型包括:一个3*3卷积层、递归连接的四个残差双注意力机制模块;所述残差双注意力机制模块包括:八个
双重注意力机制单元、一个3*3卷积层以及残差单元;所述双重注意力机制单元包括:一个
3*3卷积层、PReLU激活函数、一个3*3卷积层依次连接,并同时连接通道注意力机制块和空
间注意力机制块;所述通道注意力机制块用于利用卷积特征通道间的相关性;所述空间注
意力机制块用于利用特征的空间关系;
[0042] 训练后的去噪网络模型确定模块,用于利用训练数据集,采用Adam优化算法,训练所述去噪网络模型,确定训练后的去噪网络模型;
[0043] 训练后的去噪网络模型测试模块,用于利用测试数据集对训练后的去噪网络模型进行测试。
[0044] 可选地,所述训练后的去噪网络模型确定模块具体包括:
[0045] 初始图像获取单元,用于获取初始图像;
[0046] 初始图像转换单元,用于将所述初始图像转换为raw图片,并在raw图片中注入噪声,进而将注入噪声后的raw图片转换为RGB图片;
[0047] 双树四元小波分解单元,用于对所述RGB图片进行双树四元小波分解,得到幅值图和相位图;
[0048] 训练数据集确定单元,用于对所述幅值图和相位图分别进行数据增强处理,得到幅值图数据集和相位图数据集;所述幅值图数据集和相位图数据集为训练数据集;
[0049] 模型训练单元,用于利用所述幅值图数据集和所述相位图数据集分别对所述去噪网络模型中的参数进行训练;
[0050] 判断单元,用于根据网络训练反向传播过程中目标损失函数数值判断是否达到收敛的指定迭代训练的轮数;
[0051] 去噪图像确定单元,用于若达到,则将经过训练好的去噪网络模型的幅值图与相位图,进行双树四元小波逆变换,得到去噪图像,并保存最终的网络模型参数,得到训练后
的去噪网络模型;
[0052] 可选地,所述训练数据集确定单元具体包括:
[0053] 训练数据集确定子单元,对所述幅值图和相位图分别进行随机裁剪、不同角度翻转以及补光处理。
[0054] 根据本发明提供的具体实施例,本发明公开了以下技术效果:
[0055] 本发明所提供的一种基于双树四元小波与深度学习的图像去噪方法及系统,在去噪网络模型设计方面采用了双通道注意力机制,抑制更小的特征而只允许传播信息更加丰
富的特征。去噪网络模型在增加双通道注意力机制的基础上,还结合了残差学习,防止网络
训练过程中轻易的梯度消失。本发明没有采用过深过复杂的网络结构,而是采用结构清晰
的递归模块,这使得网络训练会大大节省训练时间,在训练时的收敛速度上快于DnCNN,增
加双注意力机制模块,使网络在训练过程中资源倾斜聚焦于丰富且明显的特征上。在去噪
性能上,本发明最终在SIDD数据集上的的去噪效果用平均峰值信噪比来衡量的话,通过实
验数据表明本发明方法的去噪效果超过了DnCNN方法。

附图说明

[0056] 为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施
例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图
获得其他的附图。
[0057] 图1为本发明所提供的一种基于双树四元小波与深度学习的图像去噪方法流程示意图;
[0058] 图2为本发明所提供的一种基于双树四元小波与深度学习的图像去噪方法原理示意图;
[0059] 图3为四元数图像的全四元数滤波器的分解示意图;
[0060] 图4为二维彩色图像四元小波分解示意图;(图像由左至右和由上至下排列的振幅和三个相位)
[0061] 图5为本发明所提供的去噪网络模型结构示意图;
[0062] 图6为可视化测试结果示意图(依次为未加噪声的图像、噪声图像以及去噪图像)
[0063] 图7为本发明与DnCNN去噪效果图对比示意图(依次为噪声图像、DnCNN方法得到的去噪图像以及本发明得到的去噪图像)
[0064] 图8为本发明所提供的一种基于双树四元小波与深度学习的图像去噪系统结构示意图。

具体实施方式

[0065] 下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于
本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他
实施例,都属于本发明保护的范围。
[0066] 本发明的目的是提供一种基于双树四元小波与深度学习的图像去噪方法及系统,在提高噪声图像去噪效率的同时,提高去噪效果。
[0067] 为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。
[0068] 图1为本发明所提供的一种基于双树四元小波与深度学习的图像去噪方法流程示意图,图2为本发明所提供的一种基于双树四元小波与深度学习的图像去噪方法原理示意
图,如图1和图2一种基于双树四元小波与深度学习的图像去噪方法,包括:
[0069] S101,构建去噪网络模型;所述去噪网络模型包括:一个3*3卷积层、递归连接的四个残差双注意力机制模块(Residual Dual Attention Group,RDAG);所述残差双注意力机
制模块包括:八个双重注意力机制单元(Dual Attention model,DAM)、一个3*3卷积层以及
残差单元;所述双重注意力机制单元包括:一个3*3卷积层、PReLU激活函数、一个3*3卷积层
依次连接,并同时连接通道注意力机制块和空间注意力机制块;所述通道注意力机制块用
于利用卷积特征通道间的相关性;所述空间注意力机制块用于利用特征的空间关系;
[0070] 其中,一个3*3卷积层为卷积核大小是3*3的64个滤波器组成的卷积层;残差单元防止网络层数过深导致梯度消失,在这里经过实验证明DAM模块数量为8个时效果为佳,如
图5所示。
[0071] 所述双重注意力机制单元利用双重注意力机制抑制更小的特征而只允许传播信息更加丰富的特征。
[0072] 所述通道注意力机制块首先进行压缩操作,以便对空间全局上下文进行编码;所述压缩操作是通过在特征图上应用全局平均池化和全局最大池化,将池化的结果用一个3*
3卷积层、ReLU激活函数、3*3卷积层进行特征校准,将校准后的结果进行拼接,再通过
Sigmoid激活函数得到各特征图所占权重比例,最终使用残差得到通道注意力机制块的输
出。
[0073] 由图5所示,所述通道注意力机制块主要由全局平均池化(GAP)和全局最大池化(GMP),将池化的结果用一个3*3卷积层、ReLU激活函数、3*3卷积层进行特征校准,将校准后
的结果进行拼接,再通过Sigmoid激活函数得到各特征图所占权重比例,最终使用残差得到
通道注意力机制块的输出。
[0074] 所述空间注意力机制块利用特征图之间的空间关系并计算空间关注图,为了生成空间关注图,首先沿着通道维度对特征图进行全局平均池化和全局最大池化,并连接输出
图并以形成空间特征描述,随后以一个1*1卷积校准特征图,最后以Sigmoid激活函数和残
差乘获得空间注意力图。
[0075] 由图5所示,沿着通道维度对特征图进行全局平均池化(GAP)和全局最大池化(GMP),并拼接输出图,随后以一个1*1卷积校准特征图,最后以Sigmoid激活函数和残差乘
获得空间注意力图。
[0076] 其中双重注意力机制单元公式如下:
[0077] IDAM=Iin+Dc(CA(u),SA(u));
[0078] 上述公式中,U∈RH×W×C是DAM的输入张量,Iin∈RH×W×C通过两次卷积得到的特征图组,而Dc是最后的1*1卷积层。
[0079] S102,利用训练数据集,采用Adam优化算法,训练所述去噪网络模型,确定训练后‑4
的去噪网络模型;采用残差学习公式来学习图像特征并同时使用权重衰减率为10 ,并且每
隔25个周期学习率降低十倍,冲量为0.9,mini‑batch设置成16的随机梯度下降算法进行可
训练参数的反向更新优化,设置总训练轮数为65轮。目标损失函数如下:
[0080] (Iclean,Inoisy)=||Ic1ean‑Inoisy||1;
[0081] 其中,作为一个具体的实施例,训练数据集使用的是与DnCNN相同的数据集图片,但是对图片的处理有所不一样,本发明需对所有图片进行双树四元小波分解,得到4张不同
方向的幅值图与不同方向的12张相位图,然后再将幅值图与相位图分为两类,分别对其进
行数据增强处理,通过对图片进行随机裁剪,不同角度翻转,补光,最终实现8万张patch‑
size为100*100大小的噪声图片训练数据集。
[0082] S102具体包括:
[0083] 获取初始图像;
[0084] 将所述初始图像转换为raw图片,并在raw图片中注入噪声,进而将注入噪声后的raw图片转换为RGB图片;
[0085] 对所述RGB图片进行双树四元小波分解,得到幅值图和相位图;
[0086] 对所述幅值图和相位图分别进行数据增强处理,得到幅值图数据集和相位图数据集;所述幅值图数据集和相位图数据集为训练数据集;
[0087] 利用所述幅值图数据集和所述相位图数据集分别对所述去噪网络模型中的参数进行训练;
[0088] 根据网络训练反向传播过程中目标损失函数数值判断是否达到收敛的指定迭代训练的轮数;
[0089] 若达到,则将经过训练好的去噪网络模型的幅值图与相位图,进行双树四元小波逆变换,得到去噪图像,并保存最终的网络模型参数,得到训练后的去噪网络模型;
[0090] 若未达到,则返回所述根据目标损失函数数值判断是否达到收敛的指定迭代训练的轮数的步骤。
[0091] 所述对所述幅值图和相位图分别进行数据增强处理,得到幅值图数据集和相位图数据集,具体包括:
[0092] 对所述幅值图和相位图分别进行随机裁剪、不同角度翻转以及补光处理。
[0093] 其中,四元小波变换的基础是对四元代数理论的运用,四元数代数H由W.R.Hamilton于1843年发明,它是一个关联的非交换四维代数。
[0094] H={Q=s+xi+yj+zk};
[0095] 其中正交虚数i,j,k遵循以下成发规则:
[0096] i2=j2=‑1,k=ij=‑ji→k2=‑1;
[0097] 对于纯四元数既当四元数的实部为0时该四元数被成为纯四元数,表达为:
[0098] Q=xi+yj+zk;
[0099] Q被称为纯四元数。
[0100] 双树四元小波变换作为图像分析在数学表达上提供了一个有力的解析工具,并自2000后逐步得到重视以及应用。双树四元小波作为实数和复数小波拓展形式,既继承了前
面二者的图像分析与处理能力,又在解析域中展现了一些新的特性,主要表现在对内维等
于2的图像结构的分析能力。目前彩色图像处理系统基本上都是基于单色图像处理系统而
建立的,它们把彩色通道作为独立分量各个处理,彩色分量之间的相关信息,无法提取且易
出现颜色失真。而四元数天然具有描述彩色图像的良好特性,因为常用的彩色模型RGB,
HIS,CMY,CMYK等均可以用一个纯四元数唯一表征。四元小波变换能将多个彩色通道信息作
为单元统一处理,从而对彩色图像实现更有效的稀疏表示和特殊处理。
[0101] 在数据处理方面结合了传统的四元小波变换技术,通过四元小波变换对几何图像特征进行多角度,多方向的分解,且QWT(四元小波变换)是一种近似平移不变的紧帧表示,
其系数运动是一个幅度和三个相位:两个相位编码局部图像移位,而第三个相位包含了图
像纹理信息。这对于图像去噪在卷积神经网络的特征提取阶段有着明显不错的优势。
[0102] 一幅N×M大小的彩色图像F=(Rn,m,Gn,m,Bn,m)可以被纯四元数表示为:
[0103] Fn,m=Rn,m×i+Gn,m×j+Bn,m×k;
[0104] 对于彩色图像的四元小波分解,在其中采用四元数值滤波器:
[0105] H=l+hR×i+hG×j+hB×k;
[0106] 与彩色图像的纯四元数表示方式Fn,m卷积得到如图3和图4所示的效果,并如下所示:
[0107] Conv(F,H)=‑Conv1(F,H)+Conv2(F,H)+Conv3(F,H);
[0108]
[0109]
[0110]
[0111] S103,利用测试数据集对训练后的去噪网络模型进行测试,测试结构如图6所示。
[0112] S103之后,还包括:
[0113] 将测试集得到的去噪图像与干净图像进行对比,确定图像质量评估指标;所述图像质量评估指标包括:结构相似性指标和峰值信噪比指标。
[0114] 作为一个具体的实施例,测试数据集采用的是DND数据集(由50对有噪声和几乎无噪声的图像组成),这些图像由四个相机拍摄得到,并由通过由测试数据对训练好的模型进
行评估,通过峰值信噪比(PNSR)和结构相似性(SSIM)进行性能评估。
[0115] 为了让本发明与目前现有的相关技术更具有可比性和说服力,同时为了排除其他外界因素对本发明的去噪效果的干扰,本发明所涉及的技术实验均在在Pycharm(2020)环
境下,在Intel(R)core(TM)i5‑5820KCPU 3.30GHz的PC上和一个Nvidia Titan X GPU下完
成。
[0116] 通过平均峰值信噪比对本发明的最终的去噪效果进行衡量并与传统方法和DnCNN在SIDD数据集上的去噪效果进行对比(单位:dB),如表1所示:
[0117] 表1
[0118]
[0119] 表1对比数据表明本发明方法在去噪性能上的确优于目前几个比较先进的传统的去噪方法和最新发明中表现最好的DnCNND的去噪方法,同时本发明方法在与DnCNN同等条
件下,训练相同的训练数据集时,比DnCNN节省了不少训练收敛时间,其在训练效率上表现
的非常可观。与DnCNN去噪效果图对比如图7所示。
[0120] 图8为本发明所提供的一种基于双树四元小波与深度学习的图像去噪系统结构示意图,如图8所示,本发明所提供的一种基于双树四元小波与深度学习的图像去噪系统,包
括:
[0121] 去噪网络模型构建模块801,用于构建去噪网络模型;所述去噪网络模型包括:一个3*3卷积层、递归连接的四个残差双注意力机制模块;所述残差双注意力机制模块包括:
八个双重注意力机制单元、一个3*3卷积层以及残差单元;所述双重注意力机制单元包括:
一个3*3卷积层、PReLU激活函数、一个3*3卷积层依次连接,并同时连接通道注意力机制块
和空间注意力机制块;所述通道注意力机制块用于利用卷积特征通道间的相关性;所述空
间注意力机制块用于利用特征的空间关系;
[0122] 训练后的去噪网络模型确定模块802,用于利用训练数据集,采用Adam优化算法,训练所述去噪网络模型,确定训练后的去噪网络模型;
[0123] 训练后的去噪网络模型测试模块803,用于利用测试数据集对训练后的去噪网络模型进行测试。
[0124] 所述训练后的去噪网络模型确定模块802具体包括:
[0125] 初始图像获取单元,用于获取初始图像;
[0126] 初始图像转换单元,用于将所述初始图像转换为raw图片,并在raw图片中注入噪声,进而将注入噪声后的raw图片转换为RGB图片;
[0127] 双树四元小波分解单元,用于对所述RGB图片进行双树四元小波分解,得到幅值图和相位图;
[0128] 训练数据集确定单元,用于对所述幅值图和相位图分别进行数据增强处理,得到幅值图数据集和相位图数据集;所述幅值图数据集和相位图数据集为训练数据集;
[0129] 模型训练单元,用于利用所述幅值图数据集和所述相位图数据集分别对所述去噪网络模型中的参数进行训练;
[0130] 判断单元,用于根据网络训练反向传播过程中目标损失函数数值判断是否达到收敛的指定迭代训练的轮数;
[0131] 去噪图像确定单元,用于若达到,则将经过训练好的去噪网络模型的幅值图与相位图,进行双树四元小波逆变换,得到去噪图像,并保存最终的网络模型参数,得到训练后
的去噪网络模型;
[0132] 迭代单元,用于若未达到,则返回所述根据目标损失函数数值判断是否达到收敛的指定迭代训练的轮数的步骤。
[0133] 所述训练数据集确定单元具体包括:
[0134] 训练数据集确定子单元,对所述幅值图和相位图分别进行随机裁剪、不同角度翻转以及补光处理。
[0135] 本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统
而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说
明即可。
[0136] 本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据
本发明的思想,在具体实施方式及应用范围上均会有改变之处。综上所述,本说明书内容不
应理解为对本发明的限制。