基于机器视觉的金属板腐蚀程度判定方法及系统转让专利
申请号 : CN202111261077.0
文献号 : CN113706531B
文献日 : 2022-02-08
发明人 : 赖罗灵 , 刘秋红
申请人 : 海门市博洋铸造有限公司
摘要 :
权利要求 :
1.一种基于机器视觉的金属板腐蚀程度判定方法,其特征在于,包括以下步骤:图像获取步骤:获取待检测金属板表面图像、标准未腐蚀金属板表面图像、腐蚀程度均匀的标准轻度腐蚀金属板表面图像和标准重度腐蚀金属板表面图像,并对获取的各个金属板表面图像分别进行灰度化处理,得到各个金属板表面图像的灰度图像;
图像划分步骤:将待检测金属板表面图像的灰度图像划分为M个区域,将划分后的各个区域的灰度图像分别与标准未腐蚀金属板表面图像的灰度图像进行比较,确定出各个未腐蚀区域和腐蚀区域;根据各个腐蚀区域的灰度图像,计算各个腐蚀区域的可切分度,分别判断各个腐蚀区域的可切分度是否满足不再切分条件,若腐蚀区域的可切分度不满足不再切分条件且未达到最小划分区域尺寸,则将腐蚀区域的灰度图像进一步划分为M个区域,并重复上述图像划分步骤,直至划分后得到的腐蚀区域满足不再切分条件或达到最小划分区域尺寸,从而得到各个未腐蚀区域、可切分度满足不再切分条件的各个腐蚀区域以及达到最小划分区域尺寸的各个腐蚀区域;
腐蚀判定步骤:根据可切分度满足不再切分条件的各个腐蚀区域、达到最小划分区域尺寸的腐蚀区域以及腐蚀程度均匀的标准轻度腐蚀金属板表面图像和标准重度腐蚀金属板表面图像,确定可切分度满足不再切分条件的各个腐蚀区域和达到最小划分区域尺寸的各个腐蚀区域的腐蚀程度,从而得到灰度图像中的各个未腐蚀区域、轻度腐蚀区域和重度腐蚀区域;
腐蚀确定步骤:根据灰度图像中的各个未腐蚀区域、轻度腐蚀区域和重度腐蚀区域,得到待检测金属板的未腐蚀区域、轻度腐蚀区域和重度腐蚀区域;
计算各个腐蚀区域的可切分度的步骤包括:根据各个腐蚀区域的灰度图像,确定各个腐蚀区域的所有像素点中的腐蚀像素点和正常像素点;
根据各个腐蚀区域中的腐蚀像素点和正常像素点的坐标,对各个腐蚀区域的所有像素点进行聚类,从而得到每个腐蚀区域中的各个金属腐蚀簇区域;
分别计算每个腐蚀区域中的各个金属腐蚀簇区域各自对应的逆差矩,并根据每个腐蚀区域中的各个金属腐蚀簇区域各自对应的逆差矩,确定该腐蚀区域的可切分度;
确定不再切分条件的步骤包括:
根据腐蚀程度均匀的标准轻度腐蚀金属板表面图像和标准重度腐蚀金属板表面图像,计算腐蚀程度均匀的标准轻度腐蚀金属板和标准重度腐蚀金属板的可切分度;
根据腐蚀程度均匀的标准轻度腐蚀金属板和标准重度腐蚀金属板的可切分度,确定可切分度阈值,并将各个腐蚀区域的可切分度不大于可切分度阈值作为不再切分条件;
可切分度的表达式为:
其中,D为腐蚀区域的可切分度,N为腐蚀区域中的金属腐蚀簇区域的总数目,Mi为第i个金属腐蚀簇区域对应的逆差矩;
确定可切分度满足不再切分条件的各个腐蚀区域和达到最小划分区域尺寸的各个腐蚀区域的腐蚀程度的步骤包括:
根据达到最小划分区域尺寸的各个腐蚀区域的灰度图像,计算达到最小划分区域尺寸的各个腐蚀区域的金属综合腐蚀度,根据达到最小划分区域尺寸的各个腐蚀区域的金属综合腐蚀度,确定达到最小划分区域尺寸的各个腐蚀区域的腐蚀程度;
根据可切分度满足不再切分条件的各个腐蚀区域的灰度图像以及腐蚀程度均匀的标准轻度腐蚀金属板表面图像和标准重度腐蚀金属板表面图像,确定可切分度满足不再切分条件的各个腐蚀区域的腐蚀程度;
根据达到最小划分区域尺寸的各个腐蚀区域的腐蚀程度和可切分度满足不再切分条件的各个腐蚀区域的腐蚀程度,从而得到各个未腐蚀区域、轻度腐蚀区域和重度腐蚀区域;
计算达到最小划分区域尺寸的各个腐蚀区域的金属综合腐蚀度的步骤包括:根据达到最小划分区域尺寸的各个腐蚀区域的灰度图像,获取达到最小划分区域尺寸的各个腐蚀区域所对应的对比度和熵值;
根据达到最小划分区域尺寸的各个腐蚀区域的对比度和熵值,计算达到最小划分区域尺寸的各个腐蚀区域的金属综合腐蚀度;
金属综合腐蚀度的表达式为:
Z=α*B+β*ln(S+1)
其中,Z为达到最小划分区域尺寸的腐蚀区域的金属综合腐蚀度,B为达到最小划分区域尺寸的腐蚀区域所对应的对比度,S为达到最小划分区域尺寸的腐蚀区域所对应的熵值,α和β分别为对比度和熵值所对应的第一权值和第二权值。
2.根据权利要求1所述的基于机器视觉的金属板腐蚀程度判定方法,其特征在于,根据达到最小划分区域尺寸的各个腐蚀区域的金属综合腐蚀度,确定达到最小划分区域尺寸的各个腐蚀区域的腐蚀程度,包括以下步骤:将达到最小划分区域尺寸的各个腐蚀区域的金属综合腐蚀度分别与设定第一金属综合腐蚀度阈值和设定第二金属综合腐蚀度阈值进行比较;
若达到最小划分区域尺寸的腐蚀区域的金属综合腐蚀度小于设定第一金属综合腐蚀度阈值,则将该达到最小划分区域尺寸的腐蚀区域判定为未腐蚀区域,若达到最小划分区域尺寸的腐蚀区域的金属综合腐蚀度小于设定第二金属综合腐蚀度阈值,则将该达到最小划分区域尺寸的腐蚀区域判定为轻度腐蚀区域,否则,将该腐蚀区域判定为重度腐蚀区域。
3.根据权利要求2所述的基于机器视觉的金属板腐蚀程度判定方法,其特征在于,第一腐蚀度阈值和第二腐蚀度阈值的确定步骤包括:根据腐蚀程度均匀的标准轻度腐蚀金属板表面图像和标准重度腐蚀金属板表面图像,计算腐蚀程度均匀的标准轻度腐蚀金属板和标准重度腐蚀金属板的金属综合腐蚀度;
根据腐蚀程度均匀的标准轻度腐蚀金属板和标准重度腐蚀金属板的金属综合腐蚀度,确定第一腐蚀度阈值和第二腐蚀度阈值。
4.一种基于机器视觉的金属板腐蚀程度判定系统,其特征在于,包括存储器和处理器以及存储在存储器中并在处理器上运行的计算机程序,处理器与存储器相耦合,处理器在执行计算机程序时实现如权利要求1‑3中任一项所述的基于机器视觉的金属板腐蚀程度判定方法。
说明书 :
基于机器视觉的金属板腐蚀程度判定方法及系统
技术领域
背景技术
一金属材料的强度、韧性、耐磨损性能等诸多性能,因而被广泛地应用到石油、化工、船舶、
冶金、电力、水利、制药等工业领域。金属复合板除了具有结构性和功能性的特征之外,还可
以节省贵金属的使用,显著降低各种装备材料的成本。
产设备或管道的跑、冒、滴、漏等会影响生产装置的生产周期和设备寿命,增加生产成本,同
时还会因有毒物质的泄露而污染环境,危及人类健康。
有优点,但有些检测的条件非常苛刻,并且检测的方式对人体存在伤害,存在腐蚀程度判定
适用范围小等不足之处。
发明内容
金属板表面图像分别进行灰度化处理,得到各个金属板表面图像的灰度图像;
未腐蚀区域和腐蚀区域;根据各个腐蚀区域的灰度图像,计算各个腐蚀区域的可切分度,分
别判断各个腐蚀区域的可切分度是否满足不再切分条件,若腐蚀区域的可切分度不满足不
再切分条件且未达到最小划分区域尺寸,则将腐蚀区域的灰度图像进一步划分为M个区域,
并重复上述图像划分步骤,直至划分后得到的腐蚀区域满足不再切分条件或达到最小划分
区域尺寸,从而得到各个未腐蚀区域、可切分度满足不再切分条件的各个腐蚀区域以及达
到最小划分区域尺寸的各个腐蚀区域;
金属板表面图像,确定可切分度满足不再切分条件的各个腐蚀区域和达到最小划分区域尺
寸的各个腐蚀区域的腐蚀程度,从而得到灰度图像中的各个未腐蚀区域、轻度腐蚀区域和
重度腐蚀区域;
属综合腐蚀度,确定达到最小划分区域尺寸的各个腐蚀区域的腐蚀程度;
切分条件的各个腐蚀区域的腐蚀程度;
区域。
熵值,α和β分别为对比度和熵值所对应的第一权值和第二权值。
分区域尺寸的腐蚀区域的金属综合腐蚀度小于设定第二金属综合腐蚀度阈值,则将该达到
最小划分区域尺寸的腐蚀区域判定为轻度腐蚀区域,否则,将该腐蚀区域判定为重度腐蚀
区域。
度;
器在执行计算机程序时实现上述的基于机器视觉的金属板腐蚀程度判定方法。
到未腐蚀区域和腐蚀区域,并计算腐蚀区域的可切分度,并根据可切分度判断腐蚀区域是
否满足不再切分条件,将不满足切分条件的腐蚀区域重复以上划分步骤,直到腐蚀区域达
到最小划分区域尺寸为止,得到各个未腐蚀区域、不能再次划分的各个腐蚀区域以及达到
最小划分区域尺寸的各个腐蚀区域的腐蚀程度,最后得到待检测金属板中的不同的腐蚀区
域。本发明通过对待检测金属板图像进行分块处理,并与标准各类金属板进行比较,得到不
同区域的腐蚀程度,与现有技术相比,仅通过拍摄图像的方法就能得知金属板的腐蚀程度,
适用各种场景的金属板腐蚀程度检测,腐蚀程度检测的适用范围更广。
附图说明
仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,
还可以根据这些附图获得其它附图。
具体实施方式
效,详细说明如下。在下述说明中,不同的“一个实施例”或“另一个实施例”指的不一定是同
一实施例。此外,一或多个实施例中的特定特征、结构、或特点可由任何合适形式组合。
各个金属板表面图像分别进行灰度化处理,得到各个金属板表面图像的灰度图像。
为标准未腐蚀金属板、标准轻度腐蚀金属板、标准重度腐蚀金属板)表面图像,并将拍摄到
的各个金属板的表面图像采集到计算机内部,对各个金属板表面图像进行灰度化处理,得
到各个金属板表面图像的灰度图像。本实施例以标准未腐蚀金属板、标准轻度腐蚀金属板、
标准重度腐蚀金属板的表面图像的灰度图像作为模板用于后续对比,通过对待检测金属板
表面图像的灰度图像进行处理和分析,得到待检测金属板的不同腐蚀区域。
各个未腐蚀区域和腐蚀区域。
像的形状为一个矩形,因此本实施例将得到的待检测金属板表面图像的灰度图像沿着其图
像的长、宽中间的位置进行划分,将整个待检测金属板表面图像的灰度图像划分为尺寸相
同的M=4个区域。灰度直方图是关于灰度级分布的函数,是对图像中灰度级分布的统计。灰
度直方图是将数字图像中的所有像素,按照灰度值的大小,统计其出现的频率,灰度直方图
表示划分后的区域的灰度图像中具有某种灰度级的像素的个数,反映了划分后的区域的灰
度图像中某种灰度级出现的频率。本实施例首先获得划分后的各个区域的灰度图像与标准
未腐蚀金属板表面图像的灰度图像的灰度直方图,进而根据灰度直方图得到各个区域的灰
度图像与标准未腐蚀金属板表面图像之间的直方图相似度,通过直方图相似度判定划分后
的各个区域是腐蚀区域还是未腐蚀区域。得到直方图相似度的过程如下:
方图维数,由于灰度值取值范围为0~255,所以本实施例中灰度直方图维数n=256,划分后
的任一区域的灰度图像的灰度直方图S和标准未腐蚀金属板表面图像的灰度图像的灰度直
方图M均以灰度值0~255为横坐标,以灰度值0~255分别出现的概率s1~sn和m1~mn为纵坐
标。将概率值s1~sn和m1~mn进行归一化处理,并将归一化处理后的概率值作为最终的概率
值。由划分后的任一区域的灰度图像的灰度直方图S和标准未腐蚀金属板表面图像的灰度
图像的灰度直方图M,得到相应的直方图欧式距离相似度的公式为:
数,本实施例中n=256,si和mi分别为划分后的任一区域的灰度图像的灰度直方图S和标准
未腐蚀金属板表面图像的灰度图像的灰度直方图M中灰度值i所出现的概率归一化之后的
概率值,即0≤si≤1,0≤mi≤1。对直方图欧式距离相似度O(S,M)归一化处理,即得到划分后
的任一区域的灰度图像的灰度直方图S与标准未腐蚀金属板表面图像的灰度图像的灰度直
方图M之间的直方图相似度的公式为:
值的函数,n为灰度直方图维数,本实施例中n=256。
分后的区域和标准未腐蚀金属板表面图像的灰度图像的灰度值分布越相似,即划分后的区
域为未腐蚀区域的可能性越大。本实施例中设置直方图相似度阈值为0.8,当直方图相似度
D(S,M)≥0.8时,则判定对应划分后的区域为未腐蚀区域,当直方图相似度D(S,M)<0.8时,
则判定对应划分后的区域为腐蚀区域。
且未达到最小划分区域尺寸,则将腐蚀区域的灰度图像进一步划分为M个区域,并重复上述
步骤(2)和步骤(3),直至划分后得到的腐蚀区域满足不再切分条件或达到最小划分区域尺
寸,从而得到各个未腐蚀区域、可切分度满足不再切分条件的各个腐蚀区域以及达到最小
划分区域尺寸的各个腐蚀区域。
是腐蚀区域是否均匀以及腐蚀区域的腐蚀程度是否与标准的腐蚀金属板表面图像的灰度
图像类似却是未知的,仅凭直方图相似度不能直接反映出腐蚀区域和标准的腐蚀金属板表
面图像的灰度图像中的腐蚀像素点的空间分布差异和复杂程度差异,因此不能仅通过腐蚀
区域和标准的腐蚀金属板表面图像的灰度图像之间的直方图相似度判断腐蚀区域为轻度
腐蚀区域还是重度腐蚀区域。本实施例首先确定腐蚀区域是否为均匀腐蚀区域,再对腐蚀
区域进行进一步的判断,减小了判定的误差。具体步骤如下:
个腐蚀区域的灰度图像的二值图像,该各个腐蚀区域的灰度图像的二值图像中的所有像素
点标记为1或者0。当然,该全卷积神经网络FCN是预先训练好的,其对应的训练过程如下:
FCN。
于金属板表面灰度图像的未腐蚀部分和腐蚀部分的差异较大,按照腐蚀部分与未腐蚀部分
将所有像素点分为2类,即正常像素点以及腐蚀像素点。将训练数据集中各个金属板表面灰
度图像中的正常像素点值人工标注为0,将腐蚀像素点值人工标注为1。在对训练数据集标
注完成之后,采用该训练数据集对构建的全卷积神经网络FCN进行训练,从而得到训练好的
全卷积神经网络FCN。由于构建全卷积神经网络FCN以及其对应的训练过程均属于现有技
术,此处不再赘述。
网络FCN输出为只有0和1的二值图像,其中腐蚀像素点标记为1,正常像素点标记为0。
位各个腐蚀区域中的各个聚类中心点,最终形成各个聚类中心点集及相应的各个金属腐蚀
簇。均值漂移聚类的过程为:
心C在二值图像区域内等间隔取点,将各个等间隔取的点作为各个圆形滑动窗口的圆心,并
且使每个圆互不相交。根据要求,各个圆形滑动窗口的半径均为r,并且各个圆形滑动窗口
的圆心之间的间隔要大于2r。
内的所有向量的平均值,进而在每个圆形滑动窗口内均得到一个偏移均值。其中偏移均值
的表达式为:
腐蚀像素点。
算各个圆形滑动窗口内的密度,圆形滑动窗口的密度即窗口中的腐蚀像素点的个数,直到
不存在窗口内可以容纳更多的点的偏移方向,即一直移动到窗口内的密度不再增加为止,
至此,停止移动滑动窗口。其中,根据偏移均值将中心点移动到新的位置的表达式为:
口中心点的位置,P为t状态下求得的偏移均值。
最大的圆形滑动窗口的中心作为聚类中心。由于腐蚀区域不仅仅只包含一个聚类中心,设
定聚类中心的个数为N,则由聚类中心形成的聚类类别数也为N。然后根据各个聚类中心所
在的圆形滑动窗口进行聚类,将腐蚀区域中的腐蚀像素点聚类为N个不同的金属腐蚀簇,从
而得到腐蚀金属板中腐蚀像素点的密集区域。
共生矩阵的逆差矩,来判断腐蚀区域内的腐蚀像素点分布是否均匀。首先将各个金属腐蚀
簇进行单独分割,将单独分割的金属腐蚀簇的二值图像与腐蚀区域做乘运算,得到单个金
属腐蚀簇的灰度图像,并求出每个金属腐蚀簇灰度图像的灰度共生矩阵,灰度共生矩阵指
的是一种通过研究灰度的空间相关特性来描述纹理的常用方法,求取灰度共生矩阵的目的
是便于后续求其纹理特征。求取灰度共生矩阵的过程为现有技术,此处不再赘述。再根据灰
度共生矩阵求取金属腐蚀簇的逆差矩,逆差矩的表达式为:
=256。逆差矩反映图像纹理的同质性,度量图像纹理局部变化的多少,逆差矩的值越大则
说明金属腐蚀簇灰度图像中相邻像素点的灰度值差异越小,即金属腐蚀簇灰度图像的区域
内缺少变化,也就是金属腐蚀簇区域内的腐蚀像素点分布越均匀。
蚀分布情况越复杂的腐蚀区域可切分度越大。构建的腐蚀区域的可切分度的表达式为:
的金属腐蚀簇越多,并且金属腐蚀簇内的腐蚀像素点的分布情况越复杂、不规律,即腐蚀区
域的可切分度越大,则可能需要进行分块处理的次数就更多,根据腐蚀区域的可切分度大
小可以为计算机系统预分配资源的多少提供依据。当腐蚀区域的可切分度足够小时,则无
需进行分块处理,可直接根据将腐蚀区域与标准轻度腐蚀金属板和标准重度腐蚀金属板之
间的直方图相似度对腐蚀区域进行腐蚀程度判定。
分为M个区域,并重复图像划分步骤,直至划分后得到的腐蚀区域满足不再切分条件或达到
最小划分区域尺寸。
(3.4)的方法,求取标准轻度腐蚀金属板的可切分度为D1,标准重度腐蚀金属板的可切分度
为D2,设定可切分度阈值C来判定腐蚀区域的腐蚀情况是否足够均匀。可切分度阈值C的取
值为:
区域无需继续分块;若不满足不再切分条件,即D>C时,说明此时腐蚀区域的腐蚀像素点分
布情况较为复杂,并且当腐蚀区域的长度或宽度大于最小划分区域尺寸时,此时认为腐蚀
区域仍需继续分块。本实施例设定最小划分区域尺寸为20个像素点的长度,即当腐蚀区域
的长度或宽度大于20个像素点的尺寸时,此时再次对其进行上述分块和腐蚀程度判断的步
骤,同样的将腐蚀区域的灰度图像进一步划分为M=4个区域。
不大于最小划分区域尺寸时,即当腐蚀区域的长度和宽度均不大于20个像素点的尺寸时,
立即停止分块,再对最后生成的各个达到最小划分区域尺寸的腐蚀区域分别计算其腐蚀程
度,至此,得到达到最小划分区域尺寸的各个腐蚀区域。
蚀金属板表面图像,确定可切分度满足不再切分条件的各个腐蚀区域和达到最小划分区域
尺寸的各个腐蚀区域的腐蚀程度,从而得到灰度图像中的各个未腐蚀区域、轻度腐蚀区域
和重度腐蚀区域。
不再切分条件的各个腐蚀区域的腐蚀程度。
的计算,将得到的两个直方图相似度值进行比较,将最大的直方图相似度值所对应的标准
金属板的腐蚀程度作为该腐蚀区域的腐蚀程度,计算直方图相似度的方法在上述步骤(2)
中做了详细介绍,此处不再赘述。至此,可以得到可切分度满足不再切分条件的各个腐蚀区
域的腐蚀程度。
域的金属综合腐蚀度,确定达到最小划分区域尺寸的各个腐蚀区域的腐蚀程度。
生矩阵。由于求取灰度共生矩阵的过程为现有技术,此处不再赘述。基于灰度共生矩阵求取
达到最小划分区域尺寸的各个腐蚀区域的对比度和熵值,进而根据达到最小划分区域尺寸
的各个腐蚀区域的对比度和熵值求取达到最小划分区域尺寸的各个腐蚀区域的金属综合
腐蚀度。
度共生矩阵的维度,本实施例中k=256。对比度反映了达到最小划分区域尺寸的腐蚀区域
的清晰度和纹理沟纹深浅的程度,即达到最小划分区域尺寸的腐蚀区域的腐蚀程度越深,
纹理沟纹越深,视觉效果越清晰,对比度B越大;即达到最小划分区域尺寸的腐蚀区域的腐
蚀程度越浅,纹理沟纹越浅,视觉效果越模糊,对比度B越小。
共生矩阵的维度,本实施例中k=256。熵是图像所具有的信息量的度量,纹理信息也属于图
像的信息,是一个随机性的度量,它表示了图像中纹理的非均匀程度或复杂程度。熵值S越
大则图像纹理越复杂。在腐蚀金属板图像中,腐蚀像素区域纹理相对复杂,而腐蚀的程度与
纹理的复杂程度成正相关。因此,熵值S越大达到最小划分区域尺寸的各个腐蚀区域的腐蚀
程度越深,熵值S越小达到最小划分区域尺寸的各个腐蚀区域的腐蚀程度越浅。
熵值,α和β分别为对比度和熵值所对应的第一权值和第二权值,本实施例中
金属综合腐蚀度Z的值越大,则达到最小划分区域尺寸的各个腐蚀区域的腐蚀程度越严重。
第二金属综合腐蚀度阈值为 第一金属综合腐蚀度阈值和第二金属
综合腐蚀度阈值可根据实际调整,并且第二金属综合腐蚀度阈值不小于第一金属综合腐蚀
度阈值。
为轻度腐蚀区域;当金属综合腐蚀度满足W2≤Z时,判定该达到最小划分区域尺寸的腐蚀区
域为重度腐蚀区域。至此,可根据达到最小划分区域尺寸的各个腐蚀区域的腐蚀程度,得到
各个未腐蚀区域、轻度腐蚀区域和重度腐蚀区域。
灰度图像中的所有未腐蚀区域、轻度腐蚀区域和重度腐蚀区域,完成了所有区域的分类,根
据所有区域的类别,可以判断待检测金属板不同区域的腐蚀程度。本实施例不对金属板做
整体腐蚀性判定,只对不同腐蚀程度的腐蚀区域进行判断,后续希望实现的是,根据不同区
域腐蚀程度,确定不同的去腐蚀处理强度,并根据确定的去腐蚀处理强度对不同区域进行
不同强度的除锈。
理器在执行计算机程序时实现上述的基于机器视觉的金属板腐蚀程度判定方法。由于该基
于机器视觉的金属板腐蚀程度判定方法已经在上述内容中进行了详细介绍,此处不再赘
述。
些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且
仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连
续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者
可能是有利的。