一种轻量化多路径网状图像分割方法、系统和电子设备转让专利

申请号 : CN202110768828.1

文献号 : CN113393476B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 吴强石伟李璇何泽鲲

申请人 : 山东大学

摘要 :

本发明公开了一种轻量化多路径网状图像分割方法、系统和电子设备。其中轻量化多路径网状图像分割方法包括训练阶段和推理阶段,训练阶段分割模型的构建如下所示:首先将处理后的数据送入多路径编码器,使用轻量化多路径特征挖掘单元进行特征挖掘,然后进行下采样操作,该系列操作重复进行多次;然后,将数据送入多路径解码器,对数据进行上采样操作,上采样后的数据送入轻量化多路径特征挖掘单元进行特征挖掘,该系列操作重复进行多次;接着,将多个轻量化多路径特征挖掘单元的输出数据送入特征阶梯单元,输出分割结果;最后,使用软剪枝操作对网络模型进行剪枝操作,进一步降低模型所需的计算和存储资源。实验证明与传统的深度学习模型相比,本发明提出的方法优于传统方法,分割精度有明显提升且需要的计算和存储资源要远远少于传统深度学习模型。

权利要求 :

1.一种轻量化多路径网状图像分割方法,能够减少深度学习分割方法所需要的计算和存储资源,同时能够使用自动化的组合卷积操作提升深度学习分割方法的性能,所述方法包括训练阶段和推理阶段:

(一)训练阶段包括:

(1)图像预处理:对图像进行归一化处理,将多模态数据拼接成多通道数据,对数据进行清洗,去除无效数据,同时为了强化训练效果,对数据集使用旋转方法进行了数据增强;

(2)构建分割模型,具体步骤包括:

(2‑1)将经过预处理的图像数据送入多路径编码器,在多路径编码器部分,使用五个轻量化多路径特征挖掘单元和四个下采样操作对输入数据进行编码操作,编码后的数据去除了噪声并保留了输入数据的有效信息,多路径编码器从顶部到底部,轻量化多路径特征挖掘单元提取的特征通道的数量分别是32、64、128、256、512;

(2‑2)将经过步骤(2‑1)处理的数据送入多路径解码器中,在多路径解码器中,使用了四个轻量化多路径特征挖掘单元和四个上采样操作单元来对编码信息进行解码操作,使得输出数据可以恢复到原始数据的大小;轻量化多路径特征挖掘单元的结构和多路径编码器中描述的轻量化多路径特征挖掘单元的结构完全一致;为了获得图像的位置信息,多路径编码器中的每一个轻量化多路径特征挖掘单元的输出信息,都被传送到多路径解码器中对应位置的轻量化多路径特征挖掘单元中,多路径解码器中的每一个轻量化多路径特征挖掘单元的输入信息,都是上一层轻量化多路径特征挖掘单元的输出信息的上采样信息和位置信息的拼接;多路径解码器从底部到顶部,轻量化多路径特征挖掘单元提取的特征通道的数量分别是256、128、64、32;

(2‑3)为了有效的利用特征的多尺度信息,需要将图像的低维信息和高维信息联合起来;解码器每一层的输出数据首先经过上采样操作恢复到原始的图像尺寸,上采样的倍数分别为八倍、四倍和两倍;又由于解码器每一层的输出特征数量不同,分别为256、128、64和

32,八倍上采样后特征通道的数量分别缩小为128、64、32,四倍上采样后特征通道的数量分别缩小为64、32,两倍上采样后特征通道的数量缩小为32;经过阶梯式降低特征通道数量后,获得的特征被拼接起来经过标准卷积操作单元进行特征数量的再次降低,特征通道的数量降低为32,之后,特征通道将经过输出层输出分割结果;

(3)训练分割模型:将清洗后的数据放入分割模型中进行训练,动态更新模型的参数,到达设定的训练次数后保存模型和参数;

(4)软剪枝操作:使用软滤波器剪枝对模型进行进一步的压缩简化,减少分割模型进行推理运算需要的计算和存储资源,抑制模型中存在的过参数化现象,该方法能够以一种软的方式动态的修剪滤波器,即减掉的滤波器仍然参与下一次的迭代更新;

(5)模型微调:由于经过软剪枝操作之后,网络模型的精度损失过多,故需要对网络模型进行进一步的深度训练;

(二)推理阶段包括:

(1)获取图像:获取需要进行分割处理的图像;

(2)预处理图像:对图像进行归一化处理,将多模态数据拼接成多通道数据;

(3)分割图像:将经过预处理的图像数据送入经过微调后的分割模型中进行分割推理操作。

2.一种轻量化多路径网状图像分割系统,其特征在于:该系统包括数据采集器、数据存储器、数据处理器;其中,数据采集器可以采集图像数据;数据存储器中包括一种轻量化多路径网状图像分割方法程序;所述轻量化多路径网状图像分割方法程序被所述数据处理器执行时实现如权利要求1所述的一种轻量化多路径网状图像分割方法的各个步骤。

3.一种轻量化多路径网状图像分割电子设备,其特征在于:所述图像分割电子设备包括程序存储器、数据存储器、嵌入式神经网络处理器NPU、显示终端、输入设备、电源设备和总线,各设备通过总线完成相互间的通信;其中,所述程序存储器存储有可被一个或多个嵌入式神经网络处理器执行的指令,完成如权利要求1所述的一种轻量化多路径网状图像分割方法;所述数据存储器存储有被嵌入式神经网络处理器处理前的数据以及处理后的数据;所述嵌入式神经网络处理器执行程序存储器中保存的指令,指令被嵌入式神经网络处理器执行时,使嵌入式神经网络处理器执行如权利要求1所述的一种轻量化多路径网状图像分割方法;所述显示终端显示用于对数据的可视化展示与操作;所述输入设备用于对设备的操作与控制;所述电源设备用于对以上设备进行供电。

说明书 :

一种轻量化多路径网状图像分割方法、系统和电子设备

技术领域

[0001] 本发明涉及图像处理领域,特别涉及一种轻量化多路径网状图像分割方法、系统和电子设备。

背景技术

[0002] 随着计算机技术的进步,以及数据量的上升,计算机视觉技术得到了快速的发展。在计算机视觉技术中,最重要的一个基本问题就是对图像进行语义分割,其实质是对图像
的每个像素点进行分类。图像语义分割方法分为传统的图像分割方法和基于深度学习的分
割方法。
[0003] 传统的分割方法主要包括区域生长法、模糊C均值聚类方法、主动轮廓模型分割方法、水平集方法、分水岭算法、基于图谱匹配的分割方法、多谱磁共振影像分割方法和基于
异常检测的分割方法等。但是,这些传统的分割方法还需要人为干预,并没有实现完全的自
动分割,鲁棒性较差,分割结果仍然存在较大的误差。
[0004] 基于深度学习的分割方法克服了传统分割方法的缺点,不需要人为干预,可以实现全自动分割,鲁棒性较好,并且在分割精度上也获得了极大的提升,其主要包括VGG、FCN
和U‑Net等分割模型。
[0005] 深度学习中的卷积神经网络依靠卷积操作来提取特征,具有不同卷积核的卷积操作提取的特征也会有所区别,具有小卷积核的卷积操作能够拥有的感受野较小,更加注重
图像的局部信息,具有大卷积核的卷积操作拥有的感受野更大,更加注重图像的全局信息,
若能同时使用具有不同卷积核的卷积操作提取特征,则无疑会使提取的特征更加丰富,此
外,若能使分割网络自动选择具有不同卷积核的组合卷积操作,则网络提取的特征无疑会
更加适合要完成的任务。
[0006] 虽然基于深度学习的分割方法分割精度取得了极大提升,但是仍然存在模型的尺寸过大,在执行分割任务的时候会消耗大量资源等问题,如果能够设计出一种轻量化的分
割网络模型,且该模型能够自动选择具有不同卷积核的组合卷积操作来进行特征提取,无
疑会减少深度学习分割方法所需要的计算和存储资源,同时能够提升深度学习分割方法的
性能。

发明内容

[0007] 深度学习分割方法在执行分割任务的时候会消耗大量的资源,且严重依赖深度神经网络提取的图像特征,如果能够设计一种轻量化的深度神经网络,并且网络能够自动选
择具有不同卷积核的组合卷积操作来进行特征提取,那么无疑会减少深度学习分割方法所
需要的计算和存储资源,同时能够提升深度学习分割方法的性能。针对这一问题,本发明提
出了一种轻量化多路径网状图像分割方法、系统和电子设备。
[0008] 本发明采用的技术方案如下所示:
[0009] 一种轻量化多路径网状图像分割方法,能够减少深度学习分割方法所需要的计算和存储资源,同时能够使用自动化的组合卷积操作提升深度学习分割方法的性能,所述方
法包括训练阶段和推理阶段:
[0010] (一)训练阶段包括:
[0011] (1)图像预处理:对图像进行归一化处理,将多模态数据拼接成多通道数据,对数据进行清洗,去除无效数据,同时为了强化训练效果,对数据集使用旋转方法进行了数据增
强;
[0012] (2)构建分割模型,具体步骤包括:
[0013] (2‑1)将经过预处理的图像数据送入多路径编码器,在多路径编码器部分,使用五个轻量化多路径特征挖掘单元和四个下采样操作对输入数据进行编码操作,编码后的数据
去除了噪声并保留了输入数据的有效信息,多路径编码器从顶部到底部,轻量化多路径特
征挖掘单元提取的特征通道的数量分别是32、64、128、256、512;
[0014] (2‑2)将经过步骤(2‑1)处理的数据送入多路径解码器中,在多路径解码器中,使用了四个轻量化多路径特征挖掘单元和四个上采样操作单元来对编码信息进行解码操作,
使得输出数据可以恢复到原始数据的大小;轻量化多路径特征挖掘单元的结构和多路径编
码器中描述的轻量化多路径特征挖掘单元的结构完全一致;为了获得图像的位置信息,多
路径编码器中的每一个轻量化多路径特征挖掘单元的输出信息,都被传送到多路径解码器
中对应位置的轻量化多路径特征挖掘单元中,多路径解码器中的每一个轻量化多路径特征
挖掘单元的输入信息,都是上一层轻量化多路径特征挖掘单元的输出信息的上采样信息和
位置信息的拼接;多路径解码器从底部到顶部,轻量化多路径特征挖掘单元提取的特征通
道的数量分别是256、128、64、32;
[0015] (2‑3)为了有效的利用特征的多尺度信息,需要将图像的低维信息和高维信息联合起来;解码器每一层的输出数据首先经过上采样操作恢复到原始的图像尺寸,上采样的
倍数分别为八倍、四倍和两倍;又由于解码器每一层的输出特征数量不同,分别为256、128、
64和32,八倍上采样后特征通道的数量分别缩小为128、64、32,四倍上采样后特征通道的数
量分别缩小为64、32,两倍上采样后特征通道的数量缩小为32;经过阶梯式降低特征通道数
量后,获得的特征被拼接起来经过标准卷积操作单元进行特征数量的再次降低,特征通道
的数量降低为32,之后,特征通道将经过输出层输出分割结果;
[0016] (3)训练分割模型:将清洗后的数据放入分割模型中进行训练,动态更新模型的参数,到达设定的训练次数后保存模型和参数;
[0017] (4)软剪枝操作:使用软滤波器剪枝对模型进行进一步的压缩简化,减少分割模型进行推理运算需要的计算和存储资源,抑制模型中存在的过参数化现象,该方法能够以一
种软的方式动态的修剪滤波器,即减掉的滤波器仍然参与下一次的迭代更新;
[0018] (5)模型微调:由于经过软剪枝过程之后,网络模型的精度损失过多,故需要对网络模型进行进一步的深度训练。
[0019] (二)推理阶段包括:
[0020] (1)获取图像:获取需要进行分割处理的图像;
[0021] (2)预处理图像:对图像进行归一化处理,将多模态数据拼接成多通道数据;
[0022] (3)分割图像:将经过预处理的图像数据送入经过微调后的分割模型中进行分割推理操作。
[0023] 本发明还提出了一种轻量化多路径网状图像分割系统,其特征在于:该系统包括数据采集器、数据存储器、数据处理器。
[0024] 其中,数据采集器可以采集图像数据;数据存储器中包括一种轻量化多路径网状图像分割方法程序;所述轻量化多路径网状图像分割方法程序被所述数据处理器执行时实
现如上所述轻量化多路径网状图像分割方法的各个步骤。
[0025] 本发明还包括一种轻量化多路径网状图像分割电子设备,其特征在于:所述图像分割电子设备包括程序存储器、数据存储器、嵌入式神经网络处理器NPU、显示终端、输入设
备、电源设备和总线,各设备通过总线完成相互间的通信;
[0026] 所述程序存储器存储有可被一个或多个嵌入式神经网络处理器执行的指令,完成如上所述轻量化多路径网状图像分割方法;所述数据存储器存储有被嵌入式神经网络处理
器处理前的数据以及处理后的数据;所述嵌入式神经网络处理器执行程序存储器中保存的
指令,指令被嵌入式神经网络处理器执行时,使嵌入式神经网络处理器执行如上所述轻量
化多路径网状图像分割方法;所述显示终端显示用于对数据的可视化展示与操作;所述输
入设备用于对设备的操作与控制;所述电源设备用于对以上设备进行供电。
[0027] 本发明提出了一种轻量化多路径网状图像分割方法、系统和电子设备。通过使用一种轻量化的深度神经网络,并且网络能够自动选择具有不同卷积核的组合卷积操作来进
行特征提取,实现了减少深度学习分割方法所需要的计算和存储资源,同时提升深度学习
分割方法性能的目标。

附图说明

[0028] 图1是本发明一种轻量化多路径网状图像分割方法的流程图;
[0029] 图2是本发明一种轻量化多路径网状图像分割模型的总体示意框图;
[0030] 图3是本发明一种轻量化多路径网状图像分割模型的轻量化特征挖掘单元示意框图;
[0031] 图4是本发明一种轻量化多路径网状图像分割模型的特征阶梯示意框图;
[0032] 图5是本发明一种轻量化多路径网状图像分割方法的软剪枝示意框图
[0033] 图6是本发明一种轻量化多路径网状图像分割系统的示意框图;
[0034] 图7是本发明一种轻量化多路径网状图像分割的电子设备整体结构示意图。

具体实施方式

[0035] 为了能够更加详细的了解本发明的特点与技术内容,下面结合附图和实例对本发明作进一步说明,所附附图仅供参考说明使用。
[0036] 如图1所示,本发明提出的一种轻量化多路径网状图像分割方法的流程图如下文所示:
[0037] (一)训练阶段:图像预处理,对图像进行归一化处理,将多模态数据拼接成多通道数据,对数据进行清洗,去除无效数据,同时为了强化训练效果,对数据集使用旋转方法进
行数据增强。构建分割模型,使用轻量化多路径特征挖掘单元构建分割模型。训练分割模
型,将清洗后的数据放入分割模型中进行训练,到达设定的训练次数后保存模型及参数。模
型软剪枝,将训练后的模型进行软剪枝操作,去除掉模型多余的参数。模型微调,将软剪枝
后的模型进行微调,动态更新模型的参数,到达设定的训练次数后保存模型和参数。
[0038] (二)推理阶段:图像预处理,对图像进行归一化处理,将多模态数据拼接成多通道数据。分割图像,将经过预处理的图像数据送入经过微调后的分割模型中进行分割推理操
作,得到最终的分割结果。
[0039] 如图2、图3、图4和图5所示,一种轻量化多路径网状图像分割方法的具体步骤如下文所示:
[0040] (1)对数据集进行预处理:由于训练数据的背景部分过多,且对网络的训练没有任何有益作用,反而浪费服务器的计算资源,故采用裁剪方法,去除背景部分,裁剪后影像的
保留区域为长40至220像素,宽为30至210像素,总体尺寸为155×180×180;对数据集进行
归一化处理,即将数据集处理成均值为0,方差为1的标准数据集;将多模态数据合并成多通
道数据便于四个模态信息的同步利用,合并之后的数据尺寸为155×180×180×4;进行数
据清洗,将数据集中没有标签的图像去除;将图像的标签转换成独热码,得到最终的数据,
此时数据格式为S×180×180×4;
[0041] (2)将步骤(1)处理的数据送入多路径编码器。在多路径编码器部分,使用了五个轻量化多路径特征挖掘单元和四个下采样操作对输入数据进行编码操作,从顶部到底部,
轻量化多路径特征挖掘单元提取的特征通道的数量分别是32、64、128、256、512。其中,轻量
化特征挖掘单元的结构如下所示:
[0042] (2‑1)输入数据经过一个具有1×1卷积核的标准卷积操作单元进行特征通道的扩充,扩充为规定的输出特征通道数量,该操作不仅可以从输入数据中提取编码信息还有利
于后续的加法运算;
[0043] (2‑2)为了提高卷积运算提取的特征的多样性,本文使用了五个不同的操作,分别是:
[0044] (2‑2‑1)使用一个具有1×1卷积核的深度可分离卷积单元对操作(2‑1)输出数据做卷积运算;
[0045] (2‑2‑2)使用一个具有3×3卷积核的深度可分离卷积单元对操作(2‑1)和操作(2‑2‑1)的输出数据先做加法运算再做卷积运算;
[0046] (2‑2‑3)使用一个具有5×5卷积核的标准卷积操作单元对操作(2‑1)和操作(2‑2‑2)的输出数据先做加法运算再做卷积运算;
[0047] (2‑2‑4)使用一个具有7×7卷积核的深度可分离卷积单元对操作(2‑1)和操作(2‑2‑3)的输出数据先做加法运算再做卷积运算;
[0048] (2‑2‑5)使用一个具有3×3操作核和1×1步长的MaxPool操作单元对操作(2‑1)和操作(2‑2‑4)的输出数据先做加法运算再做下采样运算;
[0049] 这五个不同的操作通过跳线连接可以进行操作之间的自由组合,该操作可以进行的最复杂的操作为先进行1×1卷积操作,再进行3×3卷积操作,然后依次进行5×5卷积操
作和7×7卷积操作,最后进行3×3下采样操作,通过操作之间的组合,多路径特征挖掘单元
可以提取更加多样的特征;
[0050] (2‑3)由于提取的特征数量比较多会耗费更多的计算资源和存储资源,故本文首先将操作2的输出数据拼接起来,然后使用一个具有1×1卷积核的标准卷积操作单元对拼
接数据进行卷积操作,以减少特征通道的数量,该卷积操作单元还起到了注意力机制的作
用,可以将更加有用的特征通道保留;
[0051] (2‑4)由于上述诸多操作的复杂性可能造成网络的梯度消失问题,影响网络的训练过程,故本文采用了残差单元中的跳线连接结构,将操作(2‑1)和操作(2‑3)的输出数据
做加法运算。
[0052] 深度可分离卷积单元由一个深度卷积操作、一个具有1×1卷积核的标准卷积操作单元组成,其中,深度卷积又被称为逐通道卷积,具有1×1卷积核的卷积又被称为逐点卷
积。
[0053] 逐通道卷积的卷积核参数量相比于传统卷积的卷积核参数量大大减少,传统卷积核的参数量为Ci×H×W×Co,而逐通道卷积的卷积核参数量为Ci×H×W,其中Ci为输入通道
数量,H为卷积核的高度,W为卷积核的宽度,Co为输出特征通道数;逐通道卷积在运算过程
中,各个特征通道之间相互独立,没有通道之间的特征融合操作。由于逐通道卷积操作缺少
特征各通道之间的融合,为了解决这个问题,逐通道卷积之后应该紧跟着一个具有1×1卷
积核的标准卷积操作单元。
[0054] 假设输入的特征F的尺寸为(HF,WF,M),采用的标准卷积K的尺寸为(HK,WK,M,N),输出的特征G的尺寸为(HG,WG,N),其中H和W表示高度和宽度,M表示输入的特征通道数量,N表
示输出的特征通道数量。标准卷积的计算量AN如下所示:
[0055] AN=HK·WK·M·N·HF·WF
[0056] 深度可分离卷积可以被拆分成逐通道卷积和逐点卷积,其中逐通道卷积负责滤波作用,尺寸为(HK,WK,I,M),输出特征尺寸为(HG,WG,M),逐点卷积负责转换通道,尺寸为(I,
I,M,N),输出特征尺寸为(HG,WG,N),则深度可分离卷积所需要的计算量AD如下所示:
[0057] AD=HK·WK·M·HF·WF+M·N·HF·WF
[0058] 则深度可分离卷积的计算量是普通卷积计算量的 倍,如下所示:
[0059]
[0060] (3)将步骤(2)处理的数据送入多路径解码器。首先将数据进行两倍的上采样操作,恢复图像的分辨率,然后将经过上采样操作的数据和步骤(2)对应的位置传送过来的数
据拼接,送入轻量化特征挖掘单元提取更加丰富的图像语义信息。多路径解码器从底部到
顶部,轻量化特征挖掘单元提取的特征通道的数量分别是256、128、64、32。
[0061] (4)为了有效的利用特征的多尺度信息,需要将图像的低维信息和高维信息联合起来。解码器每一层的输出数据首先经过上采样操作恢复到原始的图像尺寸,上采样的倍
数分别为八倍、四倍和两倍;又由于解码器每一层的输出特征数量不同,分别为256、128、64
和32,如果直接将这些特征的数量缩小到32,会造成信息的丢失,故本专利使用了具有1×1
卷积核的标准卷积操作单元对特征通道数量进行阶梯式缩小,这样可以有效的保留信息,
八倍上采样后特征通道的数量分别缩小为128、64、32,四倍上采样后特征通道的数量分别
缩小为64、32,两倍上采样后特征通道的数量缩小为32;经过阶梯式降低特征通道数量后,
获得的特征被拼接起来经过一个具有1×1卷积核的标准卷积操作单元进行特征数量的再
次降低,特征通道的数量降低为32,之后,特征通道将经过输出层输出分割结果。
[0062] (5)损失函数交叉熵描述的是实际的输出概率与期望输出概率的距离,也就是说,交叉熵的值越小,两个概率的分布就越接近。假设概率分布p为期望输出,概率分布q为实际
输出,则交叉熵H(p,q)如下所示:
[0063]
[0064] 当训练集中每个类的像素数量有很大变化时,则需要根据真实类别对损失函数进行不同的加权,这被称为类别平衡,中值频率均衡描述的是在损失函数中分配给一个类的
权重是在整个训练集上计算的类频率的中值除以类频率的比率,这意味着训练集中较大的
类的权重较小,最小类的权重最高。
[0065] 由于本专利网络模型的输出为四通道,则对其中任意通道而言,都可以看做对像素做二分类,故本专利使用的损失函数是使用中值频率均衡的二进制交叉熵损失函数的多
通道复合体,假设概率分布p为期望输出,概率分布q为实际输出,loss为交叉熵,则loss如
下所示:
[0066]
[0067] 其中,freq(xi)表示的是某个类的出现频率,是通过该类的像素总数除以该类通道上的所有像素数量得到的,Median(freq(x1),…)表示的是分割任务中标签的四个类别
在其通道上出现频率的中值。
[0068] (6)经过上述修改后的轻量化网络具有3.64M参数,42.44MB的存储空间,54.43M FLOPs,仍然需要非常多的计算和存储成本。考虑到模型中可能存在过参数化现象,即模型
训练阶段需要大量参数来捕捉数据中的微小信息而推理阶段并不需要这些参数,基于这样
的假设,可以对模型进行进一步的压缩简化。
[0069] 滤波器剪枝能够使模型具有结构化稀疏性和比权重剪枝更有效的内存使用,从而实现更加真实的加速,本专利所使用的方法为软滤波器剪枝,该方法能够以一种软的方式
动态的修剪滤波器,即减掉的滤波器仍然参与下一次的迭代更新。
[0070] 软滤波器剪枝首先使用训练集对网络进行训练,得到训练好的网络模型,后续的操作都在这个预先训练好的模型上面进行。然后,计算网络中每一层卷积操作的各个卷积
核的L2范数,然后对这些卷积核以L2范数为标准进行排序,将L2范数较低的几个卷积核的
值置为零;之后,网络模型进行预先定义的N个迭代次数的训练,此时值被置为零的卷积核
也参与到了更新过程中;之后,网络模型重复进行上述步骤,当剪枝操作的迭代次数运行完
毕后,再次计算网络中每一层卷积操作的各个卷积核的L2范数,然后对这些卷积核以L2范
数为标准进行排序,将L2范数较低的几个卷积核删除掉,最后对网络模型进行微调。
[0071] (7)由于经过上述过程之后,网络模型的精度损失过多,故需要对网络模型进行进一步的深度训练。
[0072] 本发明还提出了一种轻量化多路径网状图像分割系统,其结构如图6所示,包括数据采集器、数据存储器、数据处理器。
[0073] 其中,数据采集器可以采集图像数据;所述数据存储器中包括一种轻量化多路径网状图像分割方法程序;所述轻量化多路径网状图像分割方法程序被所述数据处理器执行
时实现如下步骤:获取图像数据;图像预处理,裁剪图像,然后将裁剪后的数据进行标准化
处理,将多模态数据拼接成多通道数据;分割图像,加载保存的分割模型以及参数,自动分
割预处理后的图像;显示分割结果,将分割后的结果进行显示。
[0074] 本发明还包括一种轻量化多路径网状图像分割电子设备,如图7所示,具体包括程序存储器、数据存储器、嵌入式神经网络处理器(NPU)、显示终端、输入设备、电源设备和总
线,各设备通过总线完成相互间的通信。
[0075] 所述程序存储器存储有可被一个或多个嵌入式神经网络处理器执行的指令,完成步骤(1)‑(7)所述处理过程;所述数据存储器存储有被嵌入式神经网络处理器处理前的数
据以及处理后的数据;所述嵌入式神经网络处理器执行程序存储器中保存的指令,指令被
嵌入式神经网络处理器执行时,使嵌入式神经网络处理器执行步骤(1)‑(7)所述的数据处
理方法;所述显示终端显示用于对数据的可视化展示与操作;所述输入设备用于对设备的
操作与控制;所述电源设备用于对以上设备进行供电。
[0076] 本发明的效果可以通过实验结果进一步说明。
[0077] 将BraTS2020数据集经过步骤(1)所示方法处理,随机打乱后分成5份,每次取4份作为训练集,剩下的1份作为验证集,共做5次交叉验证,将5次验证之后的结果取均值,作为
最终的实验结果。从表1可以看到,采用本发明(表中加粗区域)后,在多个性能指标上面与
传统的分割方法相比(采用相同的数据集),本发明提出的方法分割精度有明显提升,而且
所需的计算和存储资源更少。经过剪枝操作后,其各项指标如表2所示,从表中可以看到,模
型所需的计算资源和存储资源明显降低,但精度损失过大。对剪枝后的模型进行微调后,如
表3所示,精度明显得到恢复。
[0078] 表1 各模型在BraTS2020数据集上五折交叉验证的结果
[0079]
[0080] 表2 剪枝操作后模型在各数据集上的结果
[0081]
[0082] 表3 模型微调后在各数据集上的结果
[0083]