一种云微粒子图像提取及分类方法转让专利
申请号 : CN202010495008.5
文献号 : CN111860570B
文献日 : 2021-06-15
发明人 : 刘说 , 张无暇 , 杨玲 , 徐梓欣 , 杨智鹏
申请人 : 成都信息工程大学
摘要 :
权利要求 :
1.一种云微粒子图像提取方法,主要包括以下步骤:步骤1:对云微粒子探测设备获取的图像数据进行分割处理;
步骤2:对探测设备获取到的图像数据进行类型判定,步骤包括:步骤2.1:对步骤1所得的二值化图像数据进行矩形区域检测,并记录矩形区域数量 ,当矩形区域数量 ,判定图像数据类型为CPI数据,执行步骤3,当矩形区域数量小于或等于 ,执行步骤2.2;
步骤2.2:计算图像数据中最大矩形区域所占图像数据比例 ,当最大矩形区域所占图像数据比例 ,判定图像数据类型为CPI数据,执行步骤5,当 ,判定图像数据类型为CIP数据,执行步骤3;
步骤3:对图像数据进行筛选和补全,步骤包括:步骤3.1:判断图像数据是否丢失像素;
步骤3.2:判断二值化云微粒子图像是否被遮挡,选取中小滑窗矩阵提取二值化图像数据,中小滑窗尺寸为 ,滑动步长为 ,然后,执行以下步骤:步骤(e):检测中小滑窗所提取的每个二值化图像信息中是否有满足第3行有连续非零值的情况,当没有这种情况时,执行步骤(f),当有这种情况的时,将连续非零值数量记为c1,并检测该行相邻下方3行每行连续非零值的数量,分别记为c2,c3,c4,当同时满足, , ,则判定该中小滑窗所提取的二值化图像信息存在质量问题,且判定将该滑窗中第3行连续非零值像素点所属二值化云微粒子图像存在被遮挡情况;
步骤(f):检测中小滑窗所提取的每个二值化图像信息中是否有满足倒数第2行有连续非零值的情况,当没有这种情况时,判定二值化云粒子图像无被遮挡,当有这种情况的时,将连续非零值数量记为d1,并检测该行相邻上方3行每行连续非零值的数量,分别记为d1,d2,d3,d4,当同时满足 , , ,则判定该中小滑窗所提取的二值化图像信息存在质量问题,且判定将该滑窗中倒数第2行连续非零值像素点所属二值化云微粒子图像存在被遮挡情况;步骤4:将步骤3.1中所记录的存在像素丢失的二值化云微粒子图像进行像素填充,采用结构尺寸为 的矩阵进行膨胀腐蚀操作,将步骤3.2中所记录的存在被遮挡情况的二值化云微粒子图像进行去除,得到筛选补全的云微粒子图像;
步骤5:对步骤1所得的二值化云微粒子图像进行去标注,得到最终的特征化的云微粒子图像。
2.如权利要求1所述的一种云微粒子图像提取方法,其特征在于对云微粒子探测设备获取的图像数据进行分割处理,具体步骤包括:步骤1.1:对图像数据进行二值化处理,得到二值化图像数据,具体方法为,首先将RGB三通道图像转化为单通道灰度图像,灰度化图像数据,然后再将图像数据二值化,二值化阈值设为 ;
步骤1.2:对二值化的图像数据进行形态学处理,形态学处理先采用一个结构单元为的矩阵进行腐蚀操作,然后选择一个结构单元为 的矩阵进行膨胀操作,然后,对形态学处理后的二值化图像数据进行连通域搜索,先遍历图像中所以像素值为1的点,分别以这些像素值为1的像素点为中心点,搜索中心点相邻的上,下,左,右,左下,左上,右上和右下八方向上的像素点,当某个点值为1,则这两个像素点属于同一连接域,以该点为中心,继续搜索连通域之外的八方向相邻像素,连通域搜索完成后,标记相应的区域矩形得到连通域数量,最后,通过从左到右以及从上到下标记区域左上角的坐标,从二值化图像数据分割提取出相应标记区域的二值化云微粒子图像数据,从灰度化图像数据分割提取出相应标记区域的灰度化云微粒子图像数据。
3.如权利要求1所述的一种云微粒子图像提取方法,其特征在于步骤3.1:判断图像数据是否丢失像素,步骤包括:
步骤(a):选取大、中、小三种滑窗矩阵提取二值化图像数据信息,大滑窗尺寸为 ,第一滑动步长为 ,中滑窗尺寸为 ,第二滑动步长为 ,小滑窗尺寸为 ,第三滑动步长为 ,滑窗提取二值化图像数据信息的过程为:首先,选取尺寸为 的矩阵为滑窗,将矩阵 第1个元素 与二值化图像数据的 行 列像素点 重合,作为滑窗矩阵在二值化图像数据 上滑动的起点位置,并以从左到右顺序将滑窗矩阵 进行滑动,滑动步长为 ,当滑窗矩阵上的点 与二值化图像数据上的点 重合后,对滑窗矩阵进行换行,将滑窗矩阵 第1个元素 与二值化图像数据像素点 进行重合,作为滑窗矩阵在二值化图像数据 上滑动的换行起点位置,并以从左到右顺序将滑窗矩阵 进行滑动,滑动步长为 ,当滑窗矩阵上的点 与二值化图像数据上的点 重合后,继续对 进行换行,直到矩阵遍历滑动过了二值化图像数据上所有像素点,变量 为换行的次数, 为二值化图像数据的尺寸;
步骤(b):检测大滑窗所提取的所有二值化图像信息中是否有满足整行像素值全为0,且该行的相邻上方8行和下方8行都存在某1行像素值全为1情况的行,将满足该情况的所有行的行号记入a1中,当a1中没有记录,判定图像数据不存在像素丢失的质量问题,执行步骤
3.2,当a1中有记录,判定图像数据可能存在像素丢失的质量问题,执行步骤(c);
步骤(c):检测a1中所记录的所有行号在中滑窗所提取的所有二值化图像信息中,是否有满足整行像素值全为0,且该行的相邻上方5行和下方5行存在某1行像素值全为1情况的行,将满足该情况的所有行的行号记入a2中,当a2中没有记录,执行步骤(c1),当a2中有记录,执行步骤(d);
步骤(c1):检测a1中所记录的所有行号在中滑窗所提取的所有二值化图像信息中,是否有满足整行像素值全为0,且该行的相邻上方6行和下方6行存在某1行像素值全为1情况的行,将满足该情况的所有行的行号记入a21中,当a21中没有记录,判定图像数据不存在像素丢失的质量问题,进入步骤3.2,当a21中有记录,判定图像数据可能存在像素丢失的质量问题,执行步骤(d);
步骤(d):检测a2中所记录的所有行号在小滑窗所提取的所有二值化图像信息中,是否有满足整行像素值全为0,且该行的相邻上方3行和下方3行存在像素值全为1情况的行,将满足该情况的所有行的行号记入a3中,并将满足该情况的行的像素点在二值化图像数据上的坐标位置记入a4中,当a3中没有记录,进入步骤3.2,当a3中有记录,则判定图像数据存在质量问题,且a4中所记录的像素点所属的二值化云微粒子图像,存在像素丢失的情况。
4.如权利要求1所述的一种云微粒子图像提取方法,其特征在于步骤5:对步骤1所得的二值化云微粒子图像进行去标注,步骤为:步骤5.1:确定二值化云微粒子图像中的标注区域,具体方法为:设二值化云微粒子图像为 ,对二值化云微粒子图像 进行纵向和横向的搜索,因为云微粒子往往存在于云微粒子图像的中心位置,纵向搜索即从二值化云微粒子图像左上角第一个像素点开始,从上到下,从左到右搜索,当搜索到像素点值为1,标记该像素点横坐标 ,接着换下一列继续搜索,直到搜索到 个像素点值为1,搜索结束,得到 个像素点的横坐标 ,对 降序排列,取中间值记为 ,横向搜索即从二值化云微粒子图像右下角第一个像素点开始,从右到左,从下到上搜索,当搜索到像素点值为1,标记该像素点纵坐标 ,接着换下一列继续搜索,直到搜索到 个像素点值为1,搜索结束,得到 个像素点的纵坐标 ,对取 个纵坐标中 值降序排列,取中间值记为 ,假设云微粒子图像尺寸 ,则估计的标注区域为 ,为了确保标注能完全去除,将估计的标注区域增加扩大,最终标注区域为 ,其中, , , , ;
步骤5.2:对步骤5.1得到的标注区域进行去形态学处理,具体方法为:对标注区域先膨胀再腐蚀,对应的参数设置为:膨胀操作的矩阵选择的是 的正方形结构元素,腐蚀操作的矩阵选择的是 的单位矩阵结构元素,这样既可去除标注信息,提高分类识别准确率;
步骤5.3:将去标注后的二值化云微粒子图像进行取反,再乘以原灰度化云微粒子图像,得到去标注后的云微粒子图像,将所得图像的背景图像灰度值由0全部换为255,得到最终的特征化的云微粒子图像。
5.一种云微粒子图像分类方法,主要包括以下步骤:步骤1:对云微粒子探测设备获取的图像数据进行分割处理,步骤包括:步骤1.1:对图像数据进行二值化处理,得到二值化图像数据,具体方法为,首先将RGB三通道图像转化为单通道灰度图像,灰度化图像数据,然后再将图像数据二值化,二值化阈值设为 ;
步骤1.2:对二值化的图像数据进行形态学处理,形态学处理先采用一个结构单元为的矩阵进行腐蚀操作,然后选择一个结构单元为 的矩阵进行膨胀操作,然后,对形态学处理后的二值化图像数据进行连通域搜索,先遍历图像中所以像素值为1的点,分别以这些像素值为1的像素点为中心点,搜索中心点相邻的上,下,左,右,左下,左上,右上和右下八方向上的像素点,当某个点值为1,则这两个像素点属于同一连接域,以该点为中心,继续搜索连通域之外的八方向相邻像素,连通域搜索完成后,标记相应的区域矩形得到连通域数量,最后,通过从左到右以及从上到下标记区域左上角的坐标,从二值化图像数据分割提取出相应标记区域的二值化云微粒子图像数据,从灰度化图像数据分割提取出相应标记区域的灰度化云微粒子图像数据;
步骤2:对探测设备获取到的图像数据进行类型判定,步骤包括:步骤2.1:对步骤1.1所得的二值化图像数据进行矩形区域检测,并记录矩形区域数量,当矩形区域数量 ,判定图像数据类型为CPI数据,执行步骤3,当矩形区域数量小于或等于 ,执行步骤2.2;
步骤2.2:计算图像数据中最大矩形区域所占图像数据比例 ,当最大矩形区域所占图像数据比例 ,判定图像数据类型为CPI数据,执行步骤5,当 ,判定图像数据类型为CIP数据,执行步骤3;
步骤3:对图像数据进行筛选和补全,步骤包括:步骤3.1:判断图像数据是否丢失像素,步骤包括:步骤(a):选取大、中、小三种滑窗矩阵提取二值化图像数据信息,大滑窗尺寸为 ,第一滑动步长为 ,中滑窗尺寸为 ,第二滑动步长为 ,小滑窗尺寸为 ,第三滑动步长为 ,滑窗提取二值化图像数据信息的过程为:首先,选取尺寸为 的矩阵为滑窗,将矩阵 第1个元素 与二值化图像数据的 行 列像素点 重合,作为滑窗矩阵 在二值化图像数据 上滑动的起点位置,并以从左到右顺序将滑窗矩阵进行滑动,滑动步长为 ,当滑窗矩阵上的点 与二值化图像数据上的点重合后,对滑窗矩阵 进行换行,将滑窗矩阵 第1个元素 与二值化图像数据像素点 进行重合,作为滑窗矩阵在二值化图像数据 上滑动的换行起点位置,并以从左到右顺序将滑窗矩阵 进行滑动,滑动步长为 ,当滑窗矩阵上的点 与二值化图像数据上的点 重合后,继续对 进行换行,直到矩阵遍历滑动过了二值化图像数据上所有像素点,变量 为换行的次数, 为二值化图像数据的尺寸;
步骤(b):检测大滑窗所提取的所有二值化图像信息中是否有满足整行像素值全为0,且该行的相邻上方8行和下方8行都存在某1行像素值全为1情况的行,将满足该情况的所有行的行号记入a1中,当a1中没有记录,判定图像数据不存在像素丢失的质量问题,执行步骤
3.2,当a1中有记录,判定图像数据可能存在像素丢失的质量问题,执行步骤(c);
步骤(c):检测a1中所记录的所有行号在中滑窗所提取的所有二值化图像信息中,是否有满足整行像素值全为0,且该行的相邻上方5行和下方5行存在某1行像素值全为1情况的行,将满足该情况的所有行的行号记入a2中,当a2中没有记录,执行步骤(c1),当a2中有记录,执行步骤(d);
步骤(c1):检测a1中所记录的所有行号在中滑窗所提取的所有二值化图像信息中,是否有满足整行像素值全为0,且该行的相邻上方6行和下方6行存在某1行像素值全为1情况的行,将满足该情况的所有行的行号记入a21中,当a21中没有记录,判定图像数据不存在像素丢失的质量问题,进入步骤3.2,当a21中有记录,判定图像数据可能存在像素丢失的质量问题,执行步骤(d);
步骤(d):检测a2中所记录的所有行号在小滑窗所提取的所有二值化图像信息中,是否有满足整行像素值全为0,且该行的相邻上方3行和下方3行存在像素值全为1情况的行,将满足该情况的所有行的行号记入a3中,并将满足该情况的行的像素点在二值化图像数据上的坐标位置记入a4中,当a3中没有记录,进入步骤3.2,当a3中有记录,则判定图像数据存在质量问题,且a4中所记录的像素点所属的二值化云微粒子图像,存在像素丢失的情况;
步骤3.2:判断二值化云微粒子图像是否被遮挡,选取中小滑窗矩阵提取二值化图像数据,中小滑窗尺寸为 ,滑动步长为 ,然后,执行以下步骤:步骤(e):检测中小滑窗所提取的每个二值化图像信息中是否有满足第3行有连续非零值的情况,当没有这种情况时,执行步骤(f),当有这种情况的时,将连续非零值数量记为c1,并检测该行相邻下方3行每行连续非零值的数量,分别记为c2,c3,c4,当同时满足, , ,则判定该中小滑窗所提取
的二值化图像信息存在质量问题,且判定将该滑窗中第3行连续非零值像素点所属二值化云微粒子图像存在被遮挡情况;
步骤(f):检测中小滑窗所提取的每个二值化图像信息中是否有满足倒数第2行有连续非零值的情况,当没有这种情况时,判定二值化云粒子图像无被遮挡,当有这种情况的时,将连续非零值数量记为d1,并检测该行相邻上方3行每行连续非零值的数量,分别记为d1,d2,d3,d4,当同时满足 , , ,则判定该中小滑窗所提取的二值化图像信息存在质量问题,且判定将该滑窗中倒数第2行连续非零值像素点所属二值化云微粒子图像存在被遮挡情况;步骤4:将步骤3.1中所记录的存在像素丢失的二值化云微粒子图像进行像素填充,采用结构尺寸为 的矩阵进行膨胀腐蚀操作,将步骤3.2中所记录的存在被遮挡情况的二值化云微粒子图像进行去除,得到筛选补全的云微粒子图像,然后执行步骤6;
步骤5:对步骤1所得的二值化云微粒子图像进行去标注,步骤为:步骤5.1:确定二值化云微粒子图像中的标注区域,具体方法为:设二值化云微粒子图像为 ,对二值化云微粒子图像 进行纵向和横向的搜索,因为云微粒子往往存在于云微粒子图像的中心位置,纵向搜索即从二值化云微粒子图像左上角第一个像素点开始,从上到下,从左到右搜索,当搜索到像素点值为1,标记该像素点横坐标 ,接着换下一列继续搜索,直到搜索到 个像素点值为1,搜索结束,得到 像素点的横坐标 ,对降序排列,取中间值记为 ,横向搜索即从二值化云微粒子图像右下角第一个像素点开始,从右到左,从下到上搜索,当搜索到像素点值为1,标记该像素点纵坐标 ,接着换下一列继续搜索,直到搜索到 个像素点值为1,搜索结束,得到 个像素点的纵坐标,对取 个纵坐标中 值降序排列,取中间值记为 ,假设云微粒子图像尺寸 ,则估计的标注区域为 ,为了确保标注能完全去除,将估计的标注区域增加扩大,最终标注区域为 ,其中, ,, , ;
步骤5.2:对步骤5.1得到的标注区域进行去形态学处理,具体方法为:对标注区域先膨胀再腐蚀,对应的参数设置为:膨胀操作的矩阵选择的是 的正方形结构元素,腐蚀操作的矩阵选择的是 的单位矩阵结构元素,这样既可去除标注信息,提高分类识别准确率;
步骤5.3:将去标注后的二值化云微粒子图像进行取反,再乘以原灰度化云微粒子图像,得到去标注后的云微粒子图像,将所得图像的背景图像灰度值全部由0转换为255,得到最终的特征化的云微粒子图像;
步骤6:建立云微粒子图像数据集,先对云微粒子图像种类进行划分,根据云微粒子图像中的粒子特征将云微粒子分为以下种类:微小类、球状云滴、球状雨滴、柱状类、针状类、不规则类、六角板状类、霰状类、枝状类、混合状类,再将筛选补全的云微粒子图像或特征化的云微粒子图像打上对应类型的标签;
步骤7:将标记好的数据集送入基于迁移学习的深度神经网络模型,首先,将云微粒子图像数据集以 的比例分为训练集和测试集,对云微粒子图像执行随机旋转和镜像对称旋转操作,再将云微粒子图像矩阵统一为 ,并对云微粒子图像数字矩阵进行归一化,然后将训练集和测试集的批次大小值设置为10,将样本迭代次数设置为16,将交叉熵函数设置为损失函数,并将最小批次梯度下降作为参数更新功能,将学习率设置为0.0001,将完全连接层的最终输出值设置为9,使用Pytorch开源库获得预训练模型,在TL‑AlexNet、TL‑Vgg16、TL‑Vgg19、TL‑ResNet18、TL‑ResNet34和TL‑SqueezeNet六个模型上训练数据,最后,通过总体精度、准确率、召回率、F1分数对模型进行评价,获得适用于云微粒子图像的分类模型;
步骤8:将无标签的待识别图像数据输入已经训练好的模型当中,由神经网络提取图像特征并得出分类结果。
说明书 :
一种云微粒子图像提取及分类方法
技术领域
背景技术
Droplet Measurement Technologies(DMT)and Stratton Park Engineering Company
(SPEC)两家公司,而基于探测设备的探测范围、探测精度、探测环境和获取数据方式的不
同,飞机上可能搭载不同的云微粒子探测设备,这些云微粒子探测设备中应用较为广泛的
是CPI(Cloud Particle Imager)和CIP(Cloud Imaging Probe)两种机载探测设备。而这些
机载探测设备所记录的粒子图像是云微物理研究的基础,同时许多气象物理参数可以从云
微粒子图像中获得,以进行气象领域多个方向的相关研究。
领域中很多看似不同的问题,如检测、分割,都可以被归结为图像分类问题。当前,卷积神经
网络为图像分类问题提供了一种端到端的学习模型,可以通过传统的梯度下降方法来训练
模型中的参数,经过训练的网络模型可以学习图像中的特征,并完成图像分类,而迁移学习
是近年来发展起来的一项模型参数继承技术,它是一种基于预训练模型参数学习数据特征
的方法,主要是通过使用大数据集上训练的模型参数对其他相似数据进行分类。
数据中会存在像素丢失情况,这些问题都影响着云微粒子分类的准确性以及利用云微粒子
分类结果来进行气象研究的可靠性。
发明内容
小于或等于N1≤M1,执行步骤2.2;
据类型为CIP数据,执行步骤3;
为c1,并检测该行相邻下方3行每行连续非零值的数量,分别记为c2,c3,c4,当同时满足c1
<round(β1×c2),c2≤round(β2×c3),c3≤round(β3×c4),则判定该中小滑窗所提取的
二值化图像信息存在质量问题,且判定将该滑窗中第3行连续非零值像素点所属二值化云
微粒子图像存在被遮挡情况;
时,将连续非零值数量记为d1,并检测该行相邻上方3行每行连续非零值的数量,分别记为
d1,d2,d3,d4,当同时满足d1<round(β1×d2),d2≤round(β2×d3),d3≤round(β3×d4),
则判定该中小滑窗所提取的二值化图像信息存在质量问题,且判定将该滑窗中倒数第2行
连续非零值像素点所属二值化云微粒子图像存在被遮挡情况;
况的二值化云微粒子图像进行去除,得到筛选补全的云微粒子图像;
化阈值设为T;
后,对形态学处理后的二值化图像数据进行连通域搜索,先遍历图像中所以像素值为1的
点,分别以这些像素值为1的像素点为中心点,搜索中心点相邻的下,左,右,左下,左上,右
上和右下八方向上的像素点,当某个点值为1,则这两个像素点属于同一连接域,以该点为
中心,继续搜索连通域之外的八方向相邻像素,连通域搜索完成后,标记相应的区域矩形得
到连通域数量,最后,通过从左到右以及从上到下标记区域左上角的坐标,从二值化图像数
据分割提取出相应标记区域的二值化云微粒子图像数据,从灰度化图像数据分割提取出相
应标记区域的灰度化云微粒子图像数据。
×y3,第三滑动步长为s3,滑窗提取二值化图像数据信息的过程为:首先,选取尺寸为m×l
的矩阵为滑窗,将矩阵Mml第1个元素Mml(1,1)与二值化图像数据的i行j列像素点C(i,j)重
合,作为滑窗矩阵Mml在二值化图像数据C上滑动的起点位置,并以从左到右顺序将滑窗矩阵
Mml进行滑动,滑动步长为s,当滑窗矩阵上的点Mml(1,1)与二值化图像数据上的点C(i,q‑l)
重合后,对滑窗矩阵Mml进行换行,将滑窗矩阵Mml第1个元素Mml(1,1)与二值化图像数据像素
点C(i+k(m‑1),j)进行重合,作为滑窗矩阵在二值化图像数据C上滑动的换行起点位置,并
以从左到右顺序将滑窗矩阵Mml进行滑动,滑动步长为s,当滑窗矩阵上的点Mml(1,1)与二值
化图像数据上的点C(i+k(m‑1),q‑l)重合后,继续对Mml进行换行,直到矩阵遍历滑动过了二
值化图像数据上所有像素点,变量k为换行的次数,p×q为二值化图像数据的尺寸;
所有行的行号记入a1中,当a1中没有记录,判定图像数据不存在像素丢失的质量问题,执行
步骤3.2,当a1中有记录,判定图像数据可能存在像素丢失的质量问题,执行步骤(c);
况的行,将满足该情况的所有行的行号记入a2中,当a2中没有记录,执行步骤(c1),当a2中
有记录,执行步骤(d);
情况的行,将满足该情况的所有行的行号记入a21中,当a21中没有记录,判定图像数据不存
在像素丢失的质量问题,进入步骤3.2,当a21中有记录,判定图像数据可能存在像素丢失的
质量问题,执行步骤(d);
行,将满足该情况的所有行的行号记入a3中,并将满足该情况的行的像素点在二值化图像
数据上的坐标位置记入a4中,当a3中没有记录,进入步骤3.2,当a3中有记录,则判定图像数
据存在质量问题,且a4中所记录的像素点所属的二值化云微粒子图像,存在像素丢失的情
况。
于云微粒子图像的中心位置,纵向搜索即从二值化云微粒子图像左上角第一个像素点开
始,从上到下,从左到右搜索,当搜索到像素点值为1,标记该像素点横坐标i1,接着换下一
列继续搜索,直到搜索到r1个像素点值为1,搜索结束,得到r1个像素点的横坐标in,(n=1,
2,…,r1),对in降序排列,取中间值记为imid,横向搜索即从二值化云微粒子图像右下角第
一个像素点开始,从右到左,从下到上搜索,当搜索到像素点值为1,标记该像素点横纵坐标
j1,接着换下一列继续搜索,直到搜索到r2个像素点值为1,搜索结束,得到r2个像素点的横
纵坐标jn,n=1,2,…,r2,对取r2个横纵坐标中jn值降序排列,取中间值记为jmid,假设云微
粒子图像尺寸P×Q,则估计的标注位置为IBin([imid,P],[1,jmid]),为了确保标注能完全去
除,将估计的标注区域增加扩大,最终标注区域为IBin([iexp,P],[1,jexp]),其中,iexp=
round(β1·imid),jexp=round(β2·jmid),β1∈(0.8,1),β2∈(1,1.2);
蚀操作的矩阵选择的是g2×g2的单位矩阵结构元素,这样既可去除标注信息,提高分类识
别准确率;
最终的特征化的云微粒子图像。
化阈值设为T;
后,对形态学处理后的二值化图像数据进行连通域搜索,先遍历图像中所以像素值为1的
点,分别以这些像素值为1的像素点为中心点,搜索中心点相邻的下,左,右,左下,左上,右
上和右下八方向上的像素点,当某个点值为1,则这两个像素点属于同一连接域,以该点为
中心,继续搜索连通域之外的八方向相邻像素,连通域搜索完成后,标记相应的区域矩形得
到连通域数量,最后,通过从左到右以及从上到下标记区域左上角的坐标,从二值化图像数
据分割提取出相应标记区域的二值化云微粒子图像数据,从灰度化图像数据分割提取出相
应标记区域的灰度化云微粒子图像数据;
量小于或等于N1≤M1,执行步骤2.2;
据类型为CIP数据,执行步骤3;
×y3,第三滑动步长为s3,滑窗提取二值化图像数据信息的过程为:首先,选取尺寸为m×l
的矩阵为滑窗,将矩阵Mml第1个元素Mml(1,1)与二值化图像数据的i行j列像素点C(i,j)重
合,作为滑窗矩阵Mml在二值化图像数据C上滑动的起点位置,并以从左到右顺序将滑窗矩阵
Mml进行滑动,滑动步长为s,当滑窗矩阵上的点Mml(1,1)与二值化图像数据上的点C(i,q‑l)
重合后,对滑窗矩阵Mml进行换行,将滑窗矩阵Mml第1个元素Mml(1,1)与二值化图像数据像素
点C(i+k(m‑1),j)进行重合,作为滑窗矩阵在二值化图像数据C上滑动的换行起点位置,并
以从左到右顺序将滑窗矩阵Mml进行滑动,滑动步长为s,当滑窗矩阵上的点Mml(1,1)与二值
化图像数据上的点C(i+k(m‑1),q‑l)重合后,继续对Mml进行换行,直到矩阵遍历滑动过了二
值化图像数据上所有像素点,变量k为换行的次数,p×q为二值化图像数据的尺寸;
所有行的行号记入a1中,当a1中没有记录,判定图像数据不存在像素丢失的质量问题,执行
步骤3.2,当a1中有记录,判定图像数据可能存在像素丢失的质量问题,执行步骤(c);
况的行,将满足该情况的所有行的行号记入a2中,当a2中没有记录,执行步骤(c1),当a2中
有记录,执行步骤(d);
情况的行,将满足该情况的所有行的行号记入a21中,当a21中没有记录,判定图像数据不存
在像素丢失的质量问题,进入步骤3.2,当a21中有记录,判定图像数据可能存在像素丢失的
质量问题,执行步骤(d);
行,将满足该情况的所有行的行号记入a3中,并将满足该情况的行的像素点在二值化图像
数据上的坐标位置记入a4中,当a3中没有记录,进入步骤3.2,当a3中有记录,则判定图像数
据存在质量问题,且a4中所记录的像素点所属的二值化云微粒子图像,存在像素丢失的情
况;
为c1,并检测该行相邻下方3行每行连续非零值的数量,分别记为c2,c3,c4,当同时满足c1
<round(β1×c2),c2≤round(β2×c3),c3≤round(β3×c4),则判定该中小滑窗所提取的
二值化图像信息存在质量问题,且判定将该滑窗中第3行连续非零值像素点所属二值化云
微粒子图像存在被遮挡情况;
时,将连续非零值数量记为d1,并检测该行相邻上方3行每行连续非零值的数量,分别记为
d1,d2,d3,d4,当同时满足d1<round(β1×d2),d2≤round(β2×d3),d3≤round(β3×d4),
则判定该中小滑窗所提取的二值化图像信息存在质量问题,且判定将该滑窗中倒数第2行
连续非零值像素点所属二值化云微粒子图像存在被遮挡情况;
况的二值化云微粒子图像进行去除,得到筛选补全的云微粒子图像,然后执行步骤6;
于云微粒子图像的中心位置,纵向搜索即从二值化云微粒子图像左上角第一个像素点开
始,从上到下,从左到右搜索,当搜索到像素点值为1,标记该像素点横坐标i1,接着换下一
列继续搜索,直到搜索到r1个像素点值为1,搜索结束,得到5个像素点的横坐标in,(n=1,
2,…,r1),对in降序排列,取中间值记为imid,横向搜索即从二值化云微粒子图像右下角第
一个像素点开始,从右到左,从下到上搜索,当搜索到像素点值为1,标记该像素点横纵坐标
j1,接着换下一列继续搜索,直到搜索到r2个像素点值为1,搜索结束,得到r2个像素点的横
纵坐标jn,n=1,2,…,10,对取r2个横纵坐标中jn值降序排列,取中间值记为jmid,假设云微
粒子图像尺寸P×Q,则估计的标注位置为IBin([imid,P],[1,jmid]),为了确保标注能完全去
除,将估计的标注区域增加扩大,最终标注区域为IBin([iexp,P],[1,jexp]),其中,iexp=
round(β1·imid),jexp=round(β2·jmid),β1∈(0.8,1),β2∈(1,1.2);
蚀操作的矩阵选择的是g2×g2的单位矩阵结构元素,这样既可去除标注信息,提高分类识
别准确率;
到最终的特征化的云微粒子图像;
类、不规则类、六角板状类、霰状类、枝状类、混合状类等,再将筛选补全的云微粒子图像或
特征化的云微粒子图像打上对应类型的标签;
对称旋转操作,再将云微粒子图像矩阵统一为224×224,并对云微粒子图像数字矩阵进行
归一化,然后将训练集和测试集的批次大小值设置为10,将样本迭代次数设置为16,将交叉
熵函数设置为损失函数,并将最小批次梯度下降作为参数更新功能,将学习率设置为
0.0001,将完全连接层的最终输出值设置为9,使用Pytorch开源库获得预训练模型,在TL‑
AlexNet、TL‑Vgg16、TL‑Vgg19、TL‑ResNet18、TL‑ResNet34和TL‑SqueezeNet六个模型上训
练数据,最后,通过总体精度、准确率、召回率、F1分数对模型进行评价,获得适用于云微粒
子图像的分类模型。
附图说明
具体实施方式
化阈值设为T=254;
形态学处理后的二值化图像数据进行连通域搜索,先遍历图像中所以像素值为1的点,分别
以这些像素值为1的像素点为中心点,搜索中心点相邻的下,左,右,左下,左上,右上和右下
八方向上的像素点,当某个点值为1,则这两个像素点属于同一连接域,以该点为中心,继续
搜索连通域之外的八方向相邻像素,连通域搜索完成后,标记相应的区域矩形得到连通域
数量,最后,通过从左到右以及从上到下标记区域左上角的坐标,从二值化图像数据分割提
取出相应标记区域的二值化云微粒子图像数据,从灰度化图像数据分割提取出相应标记区
域的灰度化云微粒子图像数据;
量小于或等于N1≤20,执行步骤2.2;
数据类型为CIP数据,执行步骤3;
滑动步长为s3=5,滑窗提取二值化图像数据信息的过程为:首先,选取尺寸为m×l的矩阵
为滑窗,将矩阵Mml第1个元素Mml(1,1)与二值化图像数据的i行j列像素点C(i,j)重合,作为
滑窗矩阵Mml在二值化图像数据C上滑动的起点位置,并以从左到右顺序将滑窗矩阵Mml进行
滑动,滑动步长为s,当滑窗矩阵上的点Mml(1,1)与二值化图像数据上的点C(i,q‑l)重合后,
对滑窗矩阵Mml进行换行,将滑窗矩阵Mml第1个元素Mml(1,1)与二值化图像数据像素点C(i+k
(m‑1),j)进行重合,作为滑窗矩阵在二值化图像数据C上滑动的换行起点位置,并以从左到
右顺序将滑窗矩阵Mml进行滑动,滑动步长为s,当滑窗矩阵上的点Mml(1,1)与二值化图像数
据上的点C(i+k(m‑1),q‑l)重合后,继续对Mml进行换行,直到矩阵遍历滑动过了二值化图像
数据上所有像素点,变量k为换行的次数,p×q为二值化图像数据的尺寸;
所有行的行号记入a1中,当a1中没有记录,判定图像数据不存在像素丢失的质量问题,执行
步骤3.2,当a1中有记录,判定图像数据可能存在像素丢失的质量问题,执行步骤(c);
况的行,将满足该情况的所有行的行号记入a2中,当a2中没有记录,执行步骤(c1),当a2中
有记录,执行步骤(d);
情况的行,将满足该情况的所有行的行号记入a21中,当a21中没有记录,判定图像数据不存
在像素丢失的质量问题,进入步骤3.2,当a21中有记录,判定图像数据可能存在像素丢失的
质量问题,执行步骤(d);
行,将满足该情况的所有行的行号记入a3中,并将满足该情况的行的像素点在二值化图像
数据上的坐标位置记入a4中,当a3中没有记录,进入步骤3.2,当a3中有记录,则判定图像数
据存在质量问题,且a4中所记录的像素点所属的二值化云微粒子图像,存在像素丢失的情
况;
为c1,并检测该行相邻下方3行每行连续非零值的数量,分别记为c2,c3,c4,当同时满足c1
<round(β1×c2),c2≤round(β2×c3),c3≤round(β3×c4),则判定该中小滑窗所提取的
二值化图像信息存在质量问题,且判定将该滑窗中第3行连续非零值像素点所属二值化云
微粒子图像存在被遮挡情况;
时,将连续非零值数量记为d1,并检测该行相邻上方3行每行连续非零值的数量,分别记为
d1,d2,d3,d4,当同时满足d1<round(β1×d2),d2≤round(β2×d3),d3≤round(β3×d4),
则判定该中小滑窗所提取的二值化图像信息存在质量问题,且判定将该滑窗中倒数第2行
连续非零值像素点所属二值化云微粒子图像存在被遮挡情况;
的二值化云微粒子图像进行去除,得到筛选补全的云微粒子图像,然后执行步骤6;
于云微粒子图像的中心位置,纵向搜索即从二值化云微粒子图像左上角第一个像素点开
始,从上到下,从左到右搜索,当搜索到像素点值为1,标记该像素点横坐标i1,接着换下一
列继续搜索,直到搜索到5个像素点值为1,搜索结束,得到5个像素点的横坐标in,n=1,2,
3,4,5,对in降序排列,取中间值记为imid,横向搜索即从二值化云微粒子图像右下角第一个
像素点开始,从右到左,从下到上搜索,当搜索到像素点值为1,标记该像素点横纵坐标j1,
接着换下一列继续搜索,直到搜索到10个像素点值为1,搜索结束,得到10个像素点的横纵
坐标jn,n=1,2,…,10,对取10个横纵坐标中jn值降序排列,取中间值记为jmid,假设云微粒
子图像尺寸P×Q,则估计的标注位置为IBin([imid,P],[1,jmid]),为了确保标注能完全去除,
将估计的标注区域增加扩大,最终标注区域为IBin([iexp,P],[1,jexp]),其中,iexp=round
(β1·imid),jexp=round(β2·jmid),β1∈(0.8,1),β2∈(1,1.2);
操作的矩阵选择的是3×3的单位矩阵结构元素,这样既可去除标注信息,提高分类识别准
确率;
观察,我们将所得图像的背景图像灰度值全部换为255,得到最终的特征化的云微粒子图
像;
类、不规则类、六角板状类、霰状类、枝状类、混合状类等,再将筛选补全的云微粒子图像或
特征化的云微粒子图像打上对应类型的标签;
对称旋转操作,再将云微粒子图像矩阵统一为224×224,并对云微粒子图像数字矩阵进行
归一化,然后将训练集和测试集的批次大小值设置为10,将样本迭代次数设置为16,将交叉
熵函数设置为损失函数,并将最小批次梯度下降作为参数更新功能,将学习率设置为
0.0001,将完全连接层的最终输出值设置为9,使用Pytorch开源库获得预训练模型,在TL‑
AlexNet、TL‑Vgg16、TL‑Vgg19、TL‑ResNet18、TL‑ResNet34和TL‑SqueezeNet六个模型上训
练数据,最后,通过总体精度、准确率、召回率、F1分数对模型进行评价,获得适用于云微粒
子图像的分类模型。
例,都属于本发明保护的范围。