一种轻量化多路径网状图像分割方法、系统和电子设备转让专利
申请号 : CN202110768828.1
文献号 : CN113393476B
文献日 : 2022-03-11
发明人 : 吴强 , 石伟 , 李璇 , 何泽鲲
申请人 : 山东大学
摘要 :
权利要求 :
1.一种轻量化多路径网状图像分割方法,能够减少深度学习分割方法所需要的计算和存储资源,同时能够使用自动化的组合卷积操作提升深度学习分割方法的性能,所述方法包括训练阶段和推理阶段:
(一)训练阶段包括:
(1)图像预处理:对图像进行归一化处理,将多模态数据拼接成多通道数据,对数据进行清洗,去除无效数据,同时为了强化训练效果,对数据集使用旋转方法进行了数据增强;
(2)构建分割模型,具体步骤包括:
(2‑1)将经过预处理的图像数据送入多路径编码器,在多路径编码器部分,使用五个轻量化多路径特征挖掘单元和四个下采样操作对输入数据进行编码操作,编码后的数据去除了噪声并保留了输入数据的有效信息,多路径编码器从顶部到底部,轻量化多路径特征挖掘单元提取的特征通道的数量分别是32、64、128、256、512;
(2‑2)将经过步骤(2‑1)处理的数据送入多路径解码器中,在多路径解码器中,使用了四个轻量化多路径特征挖掘单元和四个上采样操作单元来对编码信息进行解码操作,使得输出数据可以恢复到原始数据的大小;轻量化多路径特征挖掘单元的结构和多路径编码器中描述的轻量化多路径特征挖掘单元的结构完全一致;为了获得图像的位置信息,多路径编码器中的每一个轻量化多路径特征挖掘单元的输出信息,都被传送到多路径解码器中对应位置的轻量化多路径特征挖掘单元中,多路径解码器中的每一个轻量化多路径特征挖掘单元的输入信息,都是上一层轻量化多路径特征挖掘单元的输出信息的上采样信息和位置信息的拼接;多路径解码器从底部到顶部,轻量化多路径特征挖掘单元提取的特征通道的数量分别是256、128、64、32;
(2‑3)为了有效的利用特征的多尺度信息,需要将图像的低维信息和高维信息联合起来;解码器每一层的输出数据首先经过上采样操作恢复到原始的图像尺寸,上采样的倍数分别为八倍、四倍和两倍;又由于解码器每一层的输出特征数量不同,分别为256、128、64和
32,八倍上采样后特征通道的数量分别缩小为128、64、32,四倍上采样后特征通道的数量分别缩小为64、32,两倍上采样后特征通道的数量缩小为32;经过阶梯式降低特征通道数量后,获得的特征被拼接起来经过标准卷积操作单元进行特征数量的再次降低,特征通道的数量降低为32,之后,特征通道将经过输出层输出分割结果;
(3)训练分割模型:将清洗后的数据放入分割模型中进行训练,动态更新模型的参数,到达设定的训练次数后保存模型和参数;
(4)软剪枝操作:使用软滤波器剪枝对模型进行进一步的压缩简化,减少分割模型进行推理运算需要的计算和存储资源,抑制模型中存在的过参数化现象,该方法能够以一种软的方式动态的修剪滤波器,即减掉的滤波器仍然参与下一次的迭代更新;
(5)模型微调:由于经过软剪枝操作之后,网络模型的精度损失过多,故需要对网络模型进行进一步的深度训练;
(二)推理阶段包括:
(1)获取图像:获取需要进行分割处理的图像;
(2)预处理图像:对图像进行归一化处理,将多模态数据拼接成多通道数据;
(3)分割图像:将经过预处理的图像数据送入经过微调后的分割模型中进行分割推理操作。
2.一种轻量化多路径网状图像分割系统,其特征在于:该系统包括数据采集器、数据存储器、数据处理器;其中,数据采集器可以采集图像数据;数据存储器中包括一种轻量化多路径网状图像分割方法程序;所述轻量化多路径网状图像分割方法程序被所述数据处理器执行时实现如权利要求1所述的一种轻量化多路径网状图像分割方法的各个步骤。
3.一种轻量化多路径网状图像分割电子设备,其特征在于:所述图像分割电子设备包括程序存储器、数据存储器、嵌入式神经网络处理器NPU、显示终端、输入设备、电源设备和总线,各设备通过总线完成相互间的通信;其中,所述程序存储器存储有可被一个或多个嵌入式神经网络处理器执行的指令,完成如权利要求1所述的一种轻量化多路径网状图像分割方法;所述数据存储器存储有被嵌入式神经网络处理器处理前的数据以及处理后的数据;所述嵌入式神经网络处理器执行程序存储器中保存的指令,指令被嵌入式神经网络处理器执行时,使嵌入式神经网络处理器执行如权利要求1所述的一种轻量化多路径网状图像分割方法;所述显示终端显示用于对数据的可视化展示与操作;所述输入设备用于对设备的操作与控制;所述电源设备用于对以上设备进行供电。
说明书 :
一种轻量化多路径网状图像分割方法、系统和电子设备
技术领域
背景技术
的每个像素点进行分类。图像语义分割方法分为传统的图像分割方法和基于深度学习的分
割方法。
异常检测的分割方法等。但是,这些传统的分割方法还需要人为干预,并没有实现完全的自
动分割,鲁棒性较差,分割结果仍然存在较大的误差。
和U‑Net等分割模型。
图像的局部信息,具有大卷积核的卷积操作拥有的感受野更大,更加注重图像的全局信息,
若能同时使用具有不同卷积核的卷积操作提取特征,则无疑会使提取的特征更加丰富,此
外,若能使分割网络自动选择具有不同卷积核的组合卷积操作,则网络提取的特征无疑会
更加适合要完成的任务。
割网络模型,且该模型能够自动选择具有不同卷积核的组合卷积操作来进行特征提取,无
疑会减少深度学习分割方法所需要的计算和存储资源,同时能够提升深度学习分割方法的
性能。
发明内容
择具有不同卷积核的组合卷积操作来进行特征提取,那么无疑会减少深度学习分割方法所
需要的计算和存储资源,同时能够提升深度学习分割方法的性能。针对这一问题,本发明提
出了一种轻量化多路径网状图像分割方法、系统和电子设备。
法包括训练阶段和推理阶段:
强;
去除了噪声并保留了输入数据的有效信息,多路径编码器从顶部到底部,轻量化多路径特
征挖掘单元提取的特征通道的数量分别是32、64、128、256、512;
使得输出数据可以恢复到原始数据的大小;轻量化多路径特征挖掘单元的结构和多路径编
码器中描述的轻量化多路径特征挖掘单元的结构完全一致;为了获得图像的位置信息,多
路径编码器中的每一个轻量化多路径特征挖掘单元的输出信息,都被传送到多路径解码器
中对应位置的轻量化多路径特征挖掘单元中,多路径解码器中的每一个轻量化多路径特征
挖掘单元的输入信息,都是上一层轻量化多路径特征挖掘单元的输出信息的上采样信息和
位置信息的拼接;多路径解码器从底部到顶部,轻量化多路径特征挖掘单元提取的特征通
道的数量分别是256、128、64、32;
倍数分别为八倍、四倍和两倍;又由于解码器每一层的输出特征数量不同,分别为256、128、
64和32,八倍上采样后特征通道的数量分别缩小为128、64、32,四倍上采样后特征通道的数
量分别缩小为64、32,两倍上采样后特征通道的数量缩小为32;经过阶梯式降低特征通道数
量后,获得的特征被拼接起来经过标准卷积操作单元进行特征数量的再次降低,特征通道
的数量降低为32,之后,特征通道将经过输出层输出分割结果;
种软的方式动态的修剪滤波器,即减掉的滤波器仍然参与下一次的迭代更新;
现如上所述轻量化多路径网状图像分割方法的各个步骤。
备、电源设备和总线,各设备通过总线完成相互间的通信;
器处理前的数据以及处理后的数据;所述嵌入式神经网络处理器执行程序存储器中保存的
指令,指令被嵌入式神经网络处理器执行时,使嵌入式神经网络处理器执行如上所述轻量
化多路径网状图像分割方法;所述显示终端显示用于对数据的可视化展示与操作;所述输
入设备用于对设备的操作与控制;所述电源设备用于对以上设备进行供电。
行特征提取,实现了减少深度学习分割方法所需要的计算和存储资源,同时提升深度学习
分割方法性能的目标。
附图说明
具体实施方式
行数据增强。构建分割模型,使用轻量化多路径特征挖掘单元构建分割模型。训练分割模
型,将清洗后的数据放入分割模型中进行训练,到达设定的训练次数后保存模型及参数。模
型软剪枝,将训练后的模型进行软剪枝操作,去除掉模型多余的参数。模型微调,将软剪枝
后的模型进行微调,动态更新模型的参数,到达设定的训练次数后保存模型和参数。
作,得到最终的分割结果。
保留区域为长40至220像素,宽为30至210像素,总体尺寸为155×180×180;对数据集进行
归一化处理,即将数据集处理成均值为0,方差为1的标准数据集;将多模态数据合并成多通
道数据便于四个模态信息的同步利用,合并之后的数据尺寸为155×180×180×4;进行数
据清洗,将数据集中没有标签的图像去除;将图像的标签转换成独热码,得到最终的数据,
此时数据格式为S×180×180×4;
轻量化多路径特征挖掘单元提取的特征通道的数量分别是32、64、128、256、512。其中,轻量
化特征挖掘单元的结构如下所示:
于后续的加法运算;
作和7×7卷积操作,最后进行3×3下采样操作,通过操作之间的组合,多路径特征挖掘单元
可以提取更加多样的特征;
接数据进行卷积操作,以减少特征通道的数量,该卷积操作单元还起到了注意力机制的作
用,可以将更加有用的特征通道保留;
做加法运算。
积。
数量,H为卷积核的高度,W为卷积核的宽度,Co为输出特征通道数;逐通道卷积在运算过程
中,各个特征通道之间相互独立,没有通道之间的特征融合操作。由于逐通道卷积操作缺少
特征各通道之间的融合,为了解决这个问题,逐通道卷积之后应该紧跟着一个具有1×1卷
积核的标准卷积操作单元。
示输出的特征通道数量。标准卷积的计算量AN如下所示:
I,M,N),输出特征尺寸为(HG,WG,N),则深度可分离卷积所需要的计算量AD如下所示:
据拼接,送入轻量化特征挖掘单元提取更加丰富的图像语义信息。多路径解码器从底部到
顶部,轻量化特征挖掘单元提取的特征通道的数量分别是256、128、64、32。
数分别为八倍、四倍和两倍;又由于解码器每一层的输出特征数量不同,分别为256、128、64
和32,如果直接将这些特征的数量缩小到32,会造成信息的丢失,故本专利使用了具有1×1
卷积核的标准卷积操作单元对特征通道数量进行阶梯式缩小,这样可以有效的保留信息,
八倍上采样后特征通道的数量分别缩小为128、64、32,四倍上采样后特征通道的数量分别
缩小为64、32,两倍上采样后特征通道的数量缩小为32;经过阶梯式降低特征通道数量后,
获得的特征被拼接起来经过一个具有1×1卷积核的标准卷积操作单元进行特征数量的再
次降低,特征通道的数量降低为32,之后,特征通道将经过输出层输出分割结果。
输出,则交叉熵H(p,q)如下所示:
权重是在整个训练集上计算的类频率的中值除以类频率的比率,这意味着训练集中较大的
类的权重较小,最小类的权重最高。
通道复合体,假设概率分布p为期望输出,概率分布q为实际输出,loss为交叉熵,则loss如
下所示:
在其通道上出现频率的中值。
训练阶段需要大量参数来捕捉数据中的微小信息而推理阶段并不需要这些参数,基于这样
的假设,可以对模型进行进一步的压缩简化。
动态的修剪滤波器,即减掉的滤波器仍然参与下一次的迭代更新。
核的L2范数,然后对这些卷积核以L2范数为标准进行排序,将L2范数较低的几个卷积核的
值置为零;之后,网络模型进行预先定义的N个迭代次数的训练,此时值被置为零的卷积核
也参与到了更新过程中;之后,网络模型重复进行上述步骤,当剪枝操作的迭代次数运行完
毕后,再次计算网络中每一层卷积操作的各个卷积核的L2范数,然后对这些卷积核以L2范
数为标准进行排序,将L2范数较低的几个卷积核删除掉,最后对网络模型进行微调。
时实现如下步骤:获取图像数据;图像预处理,裁剪图像,然后将裁剪后的数据进行标准化
处理,将多模态数据拼接成多通道数据;分割图像,加载保存的分割模型以及参数,自动分
割预处理后的图像;显示分割结果,将分割后的结果进行显示。
线,各设备通过总线完成相互间的通信。
据以及处理后的数据;所述嵌入式神经网络处理器执行程序存储器中保存的指令,指令被
嵌入式神经网络处理器执行时,使嵌入式神经网络处理器执行步骤(1)‑(7)所述的数据处
理方法;所述显示终端显示用于对数据的可视化展示与操作;所述输入设备用于对设备的
操作与控制;所述电源设备用于对以上设备进行供电。
最终的实验结果。从表1可以看到,采用本发明(表中加粗区域)后,在多个性能指标上面与
传统的分割方法相比(采用相同的数据集),本发明提出的方法分割精度有明显提升,而且
所需的计算和存储资源更少。经过剪枝操作后,其各项指标如表2所示,从表中可以看到,模
型所需的计算资源和存储资源明显降低,但精度损失过大。对剪枝后的模型进行微调后,如
表3所示,精度明显得到恢复。