基于邻域决策与灰度共生矩阵描述的凹凸痕视觉检测方法

摘要

本发明公开了一种基于邻域决策与灰度共生矩阵描述的凹凸痕视觉检测方法，具有步骤是：第一步骤、对原图像进行阈值化处理；第二步骤、目标图像提取；第三步骤、目标图像拟合；第四步骤、目标图像校正；第五步骤、凹凸痕识别。该基于邻域决策与灰度共生矩阵描述的凹凸痕视觉检测方法，通过边缘提取方法提取工件的轮廓，再通过特征提取、聚类、直线拟合方法优化工件轮廓，解决了工件偏移的问题，然后映射到标准矩形图像中，再通过特征判断和多模板匹配的方法检测凹凸痕，有效提高了工件表面凹凸痕的检出率，具有极大的实用价值。

权利要求

1.一种基于邻域决策与灰度共生矩阵描述的凹凸痕视觉检测方法，其特征在于，具有以下步骤：

第一步骤、对原图像进行阈值化处理：将原图像进行局部自适应阈值化处理，变成二值化图像；

第二步骤、目标图像提取：通过边缘提取算法对二值化图像进行边缘提取，就分割出目标图像；

第三步骤、目标图像拟合：根据轮廓点拟合直线，之后将直线聚类，再将聚类后直线中包含的轮廓点进行再次拟合；

第四步骤、目标图像校正：将目标图像映射到标准矩形图像中；

使用仿射变换，用一个3×3的矩阵来表示，矩阵将 的原坐标变换为的新坐标，即

通过仿射变换，将仿射矩形内的图像区域转换成直角矩形图像，实现图像的校正，同时对背景部分进行裁剪，并保留目标区域；

第五步骤、凹凸痕识别：通过特征判断和多模板匹配的方法检测凹凸痕；选用灰度共生矩阵的对比度、熵、能量和逆差分矩作为特征值；不规则多边形图像映射到矩形中，即将倾斜的图像映射到矩形图像中，对模板进行特征提取，获得特征向量，计算其与八邻域特征向量的欧式距离，然后与标准阈值进行比较，通过多模板滑动遍历对八邻域进行投票判断，如果中心模板的特征向量与其八邻域的特征向量的欧式距离小于给定的阈值则投正票，反之则投反票；最后通过统计正票数和反票数来决定该中心模板的凹凸痕属性；如果正票数大于等于反票数，则就不是凹凸痕；如果反票数大于正票数，则就是凹凸痕。

2.根据权利要求1所述的基于邻域决策与灰度共生矩阵描述的凹凸痕视觉检测方法，其特征在于：在所述的第三步骤中，根据目标图像，识别目标图像的直线像素v1,v2,…,vn，直线像素的表达式为 ，b为斜率，a为截距，根据a和b对vn进行聚类。

3.根据权利要求2所述的基于邻域决策与灰度共生矩阵描述的凹凸痕视觉检测方法，其特征在于：聚类结果为四类，分别为Ll,Lr,Rl,Rr，然后分别拟合Ll,Lr,Rl,Rr中的直线，拟合后为 、 、 、 直线，四条直线的交点为四个，分别为：左上角的坐标为(xlu,ylu), 左下角的坐标为(xld,yld), 右上角的坐标为(xru,yru), 右下角的坐标为(xrd,yrd)，拟合后图像为不规则四边形图像。

4.根据权利要求3所述的基于邻域决策与灰度共生矩阵描述的凹凸痕视觉检测方法，其特征在于：根据四个交点，首先求四边形竖边距离 、，然后求竖边的平均值距离 。

5.根据权利要求4所述的基于邻域决策与灰度共生矩阵描述的凹凸痕视觉检测方法，其特征在于：根据四个交点，首先求四边形横边距离 、，然后求横边的平均值距离 。

6.根据权利要求5所述的基于邻域决策与灰度共生矩阵描述的凹凸痕视觉检测方法，其特征在于：把 、 作为矩形的长、宽，然后通过图像校正的方法把原不规则四边形图像映射到矩形图像中。

7.根据权利要求6所述的基于邻域决策与灰度共生矩阵描述的凹凸痕视觉检测方法，其特征在于：先提取图像纹理，提取特征，模板为矩形，长L∈[1, ]，宽W∈[1, ]，模板一共有 × 个，每个模板都在矩形图像中遍历，通过相似度比较进行判断凹凸痕。

说明书

基于邻域决策与灰度共生矩阵描述的凹凸痕视觉检测方法

技术领域

[0001] 本发明涉及工业流水线机器视觉检测表面缺陷的技术领域，尤其是一种基于邻域决策与灰度共生矩阵描述的凹凸痕视觉检测方法。

背景技术

[0002] 人工目测是最常用的缺陷检测方法，但是人工检测比较耗时，人工检测结果会因为不同情况产生偏差，达不到工业化生产高效和精确检测的要求。

[0003] 划痕、凹凸痕经常出现在物体表面上，其长度、方向和深度不一，往往受产品表面的自然纹理或图案所干扰，很难准确提取划痕特征。

[0004] 边缘检测算法通常采用Laplacian、Canny、Sobel、Prewitt算子对产品表面的划痕进行检测，这些边缘检测算法在特定划痕图像上具有很好的检测效果，但是当待测物表面
具有复杂纹理或者划痕对比度低时，边缘特征不易提取，极易导致误检或漏检。

[0005] Kokaram算法是最常用的划痕检测方法之一，首先它构造划痕亮度衰减的余弦分布，并利用中值滤波和Hough变换实现筛选，然后利用Gibbs采样获取划痕的骨架，以确定它
是真划痕还是误测，但是这种方法容易受到噪音干扰且耗时长。

[0006] 模板匹配法是缺陷检测另一常用方法，根据标准图像创建模板，然后采用基于形状的模板匹配进行划痕检测，该方法通常用于具有复杂背景的缺陷检测，但容易受到图像
灰度变化的影响，且当匹配目标发生旋转时，该算法不适用。

[0007] 中国发明专利文献CN107462587A（申请号：CN201710775649.4，申请日：2017年08月31日，申请人：华南理工大学）公开了一种柔性IC基板凹凸痕缺陷的精密视觉检测系统及
方法，获取完整密集点云数据，分割提取候选点区域，然后分析是否为凹凸痕。然而，该专利
的设备十分复杂，成本较高。

发明内容

[0008] 本发明要解决的技术问题是：为了解决上述背景技术中存在的问题，提供一种基于邻域决策与灰度共生矩阵描述的凹凸痕视觉检测方法，能够克服因暗光环境、目标物体
偏移以及拍摄角度等问题而造成的识别误差较大的问题，有效提高了工件表面凹凸痕的检
出率，具有极大的实用价值。

[0009] 本发明解决其技术问题所采用的技术方案是：一种基于邻域决策与灰度共生矩阵描述的凹凸痕视觉检测方法，具有以下步骤：

[0010] 第一步骤、对原图像进行阈值化处理；

[0011] 第二步骤、目标图像提取；

[0012] 第三步骤、目标图像拟合；

[0013] 第四步骤、目标图像校正；

[0014] 第五步骤、凹凸痕识别。

[0015] 进一步具体地说，上述技术方案中，在所述的第一步骤中，将原图像进行局部自适应阈值化处理，变成二值化图像。

[0016] 进一步具体地说，上述技术方案中，在所述的第二步骤中，通过边缘提取算法对二值化图像进行边缘提取，就可以分割出目标图像。

[0017] 进一步具体地说，上述技术方案中，在所述的第三步骤中，根据目标图像，识别目标图像的直线像素v1,v2,…,vn，直线像素的表达式为 ，b为斜率，a为截距，根据
a和b对vn进行聚类。

[0018] 进一步具体地说，上述技术方案中，聚类结果为四类，分别为Ll,Lr,Rl,Rr，然后分别拟合Ll,Lr,Rl,Rr中的直线，拟合后为 、 、 、 直线，四条直线的交点为四个，分别为：
左上角的坐标为(xlu,ylu), 左下角的坐标为(xld,yld), 右上角的坐标为(xru,yru), 右下角
的坐标为(xrd,yrd)，拟合后图像为不规则四边形图像。

[0019] 进一步具体地说，上述技术方案中，根据四个交点，首先求四边形竖边距离、 ，然后求
竖边的平均值距离 。

[0020] 进一步具体地说，上述技术方案中，根据四个交点，首先求四边形横边距离、 ，然后求
横边的平均值距离 。

[0021] 进一步具体地说，上述技术方案中，把 、 作为矩形的长、宽，然后通过图像校正的方法把原不规则四边形图像映射到矩形图像中。

[0022] 进一步具体地说，上述技术方案中，先提取图像纹理，提取特征，模板为矩形，长L∈[1, ]，宽W∈[1, ]，模板一共有 × 个，每个模板都在矩形图像中遍
历，通过相似度比较进行判断凹凸痕。

[0023] 本发明的有益效果是：本发明的基于邻域决策与灰度共生矩阵描述的凹凸痕视觉检测方法，即基于邻域决策与灰度共生矩阵描述的工业部件凹凸痕视觉检测方法，通过边
缘提取方法提取工件的轮廓，再通过特征提取、聚类、直线拟合方法优化工件轮廓，解决了
工件偏移的问题，然后映射到标准矩形图像中，再通过特征判断和多模板匹配的方法检测
凹凸痕，有效提高了工件表面凹凸痕的检出率，具有极大的实用价值；本发明能较好地避免
旋转、平移、缩放等引起的缺陷误报，对凹凸痕缺陷及其他缺陷有较好的识别能力。

附图说明

[0024] 为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本
申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，
还可以根据这些附图获得其他的附图。

[0025] 图1是原图像。

[0026] 图2是二值化图像。

[0027] 图3是边缘提取后的图像。

[0028] 图4映射到的矩阵图像。

[0029] 图5是凹凸痕视觉检测方法的流程图。

具体实施方式

[0030] 为了使本发明所解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用
以解释本发明，并不用于限定本发明。

[0031] 见图5，一种基于邻域决策与灰度共生矩阵描述的凹凸痕视觉检测方法，用于自动生产线上检测表面凹凸痕，涉及到图像识别、分割与特征提取技术，特别涉及到倾斜图像映
射到矩形图像变换方法以及凹凸痕检测方法，具体具有以下步骤：

[0032] 第一步骤、对原图像进行阈值化处理：将原图像进行局部自适应阈值化处理，变成二值化图像，即变成黑白图像。

[0033] 二值化方法为局部自适应阈值法。阈值化图像其实就是对灰度图像进行二值化操作，根本原理是利用设定的阈值判断图像像素为0还是255，所以在图像二值化中阈值的设
置很重要。图像的二值化分为全局二值化和局部自适应二值化，其区别在于阈值是否在一
张图像进行统一。为了更好地处理图像，选用局部二值化。

[0034] 一个理想的自适应阈值算法对光照不均匀的图像也能产生很好的效果。为了补偿亮度，每个像素的亮度需要正规化，正规化才能决定某个像素时黑色还是白色。本发明采用
基于Wall算法的自适应阈值。其算法原理如下：

[0035] 算法基本的思想就是遍历图像，计算像素平均值。如果某个像素明显的低于这个平均值，则设置为黑色，否则设置为白色。

[0036] 假设 是点n处最后s个像素的总和：

[0037]                   （1）

[0038] 其中，i为图像点的个数， 为图像中位于点n‑i处的像素。

[0039] 通过比较点 像素值与 平均像素值的份额大小来判定 ，如果 大于，图像 为0，如果 小于 ，图像 为1。

[0040]      （2）

[0041] 其中， 为图像中位于点n处的像素， ，t为设定值。

[0042] 第二步骤、目标图像提取：通过边缘提取算法对二值化图像进行边缘提取，就可以分割出目标图像。边缘提取算法为Canny算子边缘提取算法。

[0043] 图像的边缘是指图像局部区域亮度变化显著的部分，该区域的灰度剖面一般可以看作是一个阶跃，既从一个灰度值在很小的缓冲区域内急剧变化到另一个灰度相差较大的
灰度值。图像的边缘部分集中了图像的大部分信息。所以，需要对图像进行边缘提取，本发
明采用Canny边缘检测算法。其算法原理如下：

[0044] 一、用一个高斯滤波器平滑输入图像；

[0045] 令 表示输入图像， 表示高斯函数：

[0046]              （3）

[0047] 卷积形成一幅平滑的图像：

[0048]      （4）

[0049] 二、计算梯度幅度图像和角度图像；

[0050]               （5）

[0051]               （6）

[0052] 对梯度幅度图像应用非最大抑制；

[0053] a、寻找最接近的 方向

[0054] b、若 的值至少小于沿 的两个零邻居之一，零 (抑制)；否则令，得到最大非抑制后的图像 。

[0055] 四、用双阈值处理和连接分析来检测并连接边缘；

[0056] 对 进行阈值处理，以便减少伪边缘点，Canny算法使用两个阈值：低阈值 和高阈值 (Canny建议高低阈值比为2:1或3:1)

[0057]                （7）

[0058]                （8）

[0059]          （9）

[0060] 和 的非零像素可分别视为“强”和“弱”边缘像素。其中为边缘点， 为候选点，对于候选点，如果与边缘点邻近，就标记为边缘
点。具体步骤是： 在 中定位下一个未被访问的边缘像素p； 中与p
是8邻接的像素标记为有效边缘像素； 若 中的所有非零像素已被访问，则跳到
步骤4，否则返回步骤1； 将 中未标记为有效边缘像素的所有像素置零。

[0061] 第三步骤、目标图像拟合：

[0062] 识别直线方法为Hough变换。边缘提取后的图像，本发明采用Hough变换检测直线。

[0063] Hough变换的基本原理在于利用点与线的对偶性，将原始图像空间的给定的曲线通过曲线表达形式变为参数空间的一个点。这样就把原始图像中给定曲线的检测问题转化
为寻找参数空间中的峰值问题。也即把检测整体特性转化为检测局部特性。

[0064] 设已知一黑白图像上画了一条直线，要求出这条直线所在的位置。直线的方程可以用y=kx+b来表示，其中k和b是参数，分别是斜率和截距。过某一点(x0,y0)的所有直线的参
数都会满足方程y0=kx0+b。即点(x0,y0)确定了一簇直线。方程y0=kx0+b在参数k‑b平面上是
一条直线，(也可以是方程b=‑x0*k+y0对应的直线)。这样，图像x‑y平面上的一个前景像素点
就对应到参数平面上的一条直线。

[0065] 通过Hough变换，可以检测到图像中的所有直线像素簇，直线像素簇的表达式为，为斜率，为截距。根据 和 对 进行聚类。本发明采用的聚类算法为K‑
Means算法。该算法的实现步骤为： 随机选取k个点，作为聚类中心； 计算每个点分别到
k个聚类中心的聚类，然后将该点分到最近的聚类中心，这样就行成了k个簇； 再重新计
算每个簇的质心（均值）； 重复以上2～4步，直到质心的位置不再发生变化或者达到设定
的迭代次数。

[0066] 根据目标图像，识别目标图像的直线像素v1,v2,…,vn，直线像素的表达式（设 和之间的函数关系）为：

[0067]                        （10）

[0068] 式中有两个待定参数，代表截距，代表斜率，像素簇中包括 组数据 ，，根据a和b对vn进行聚类。聚类结果为四类，即图像中的所有像素簇可以
聚类成四类，分别为Ll,Lr,Rl,Rr，然后分别拟合Ll,Lr,Rl,Rr中的直线，拟合后为 、 、 、
直线。

[0069] 最小二乘法通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。

[0070] 本发明利用最小二乘法把观测数据拟合为直线。用最小二乘法估计参数时，要求观测值 的偏差的加权平方和为最小。对于直线拟合来说，可使下式的值最小：

[0071]        （11）

[0072] 其中m为给定待拟合的离散点数量，上式对 分别求偏导数得：

[0073]    （12）

[0074]      （13）

[0075] 整理得方程组为：

[0076]                 （14）

[0077] 求解上述方程组，可以求得直线参数 的最佳估计值 和 。

[0078]                  （15）

[0079]             （16）

[0080] 分别对Ll,Lr,Rl,Rr进行最小二乘法拟合直线，可以得到 、 、 、 直线：

[0081]                   （17）

[0082] 四条直线的交点为四个，分别为：左上角的坐标为(xlu,ylu), 左下角的坐标为(xld,yld), 右上角的坐标为(xru,yru), 右下角的坐标为(xrd,yrd)，拟合后图像为不规则四
边形图像。

[0083] 第四步骤、目标图像校正：

[0084] 根据四个交点，首先求四边形图像四边距离 、 、 、 ：

[0085]         （18）

[0086] 其中， 、 为四边形图像的竖边距离， 、 为四边形图像的横边距离。

[0087] 然后求竖边的平均值距离：

[0088]                       （19）

[0089] 横边的平均值 ：

[0090]                     （20）

[0091] 把 、 作为矩形的长、宽。将矩形的左上角坐标设为（0，0），其他三点的坐标分别为（ ，0），（0，‑ ），（ ，‑ ）。然后通过图像校正的方法把原不规则四
边形图像映射到矩形图像中。本发明使用仿射变换。

[0092] 仿射变换是从二维坐标到二维坐标之间的线性变换，且可以保持二维图形的“平直性”和“平行性”。仿射变换可以通过一系列的原子变换的复合来实现，包括平移，缩放，翻
转，旋转和剪切。这类变换可以用一个3×3的矩阵来表示，矩阵将 的原坐标变换为
的新坐标，即

[0093]         （21）

[0094] 通过仿射变换，将仿射矩形内的图像区域转换成直角矩形图像，实现图像的校正，同时可以对背景部分进行裁剪，并保留目标区域，为进一步的图像处理节省大量时间，并减
少一些错误检测。

[0095] 第五步骤、凹凸痕识别：

[0096] 遍历方法为滑动窗口法。特征提取方法为灰度共生矩阵。

[0097] 本发明利用灰度共生矩阵提取图像纹理，假设图像分辨率为 ，则灰度共生矩阵的元素为

[0098]

[0099]                 （22）

[0100] 式中： 为参考点； 为偏移点； 表示参考点的灰度值为 ； 表示偏移点的灰度值为 ；为偏移点的偏移量；为
偏移点的偏移角度。

[0101] 选用灰度共生矩阵的对比度、熵、能量和逆差分矩作为特征值。

[0102] 对比度反映图像纹理沟纹深浅程度和清晰度。对比度越大，表明图像纹理沟纹越深，视觉效果越清晰；对比度越小，表明图像纹理沟纹越浅，视觉效果越模糊。对比度表达式
为

[0103]             （23）

[0104] 熵反映图像包含的信息量。熵越大，表明图像包含的信息量越大；熵越小，表明图像包含的信息量越小。熵表达式为

[0105]             （24）

[0106] 能量反映图像灰度分布均匀程度。图像灰度分布越集中，能量越大；图像灰度分布越分散，能量越小。能量表达式为

[0107]                     (25)

[0108] 逆差分矩反应图像纹理的同质性，度量图像纹理局部变化的多少。其值大则说明图像纹理的不同区域间缺少变化，局部均匀。

[0109]                  (26)

[0110] 分别计算偏移角度 为0°，45°，90°，135°时，对比度、熵、逆差分矩和能量的特征值，并且计算偏移角度各特征值的平均值 、 、 、 ：

[0111]             （27）

[0112] 其中 （i=1,2,3,4）是 为0°，45°，90°和135°对应的对比度， 为熵， 为能量，为逆差分矩。

[0113] 把各倾斜角度对应的特征值与各特征值的平均值组成特征向量，作为下面特征的判断依据。该特征向量一共有20个特征值。

[0114] 由于图像上凹凸痕的大小是不一样的，所以，本发明采用多模板扫描，保证检测准确。先提取图像纹理，提取特征，模板为矩形，长L∈[1, ]，宽W∈[1, ]，模板一共有
× 个，每个模板都在矩形图像中遍历，通过相似度比较进行判断凹凸痕。

[0115] 本发明可以将不规则多边形图像映射到矩形中，即可以将倾斜的图像映射到矩形图像中，对模板进行特征提取，获得特征向量，计算其与八邻域特征向量的欧式距离，然后
与标准阈值进行比较，通过多模板滑动遍历对八邻域进行投票判断，如果中心模板的特征
向量与其八邻域的特征向量的欧式距离小于给定的阈值则投正票，反之则投反票；最后通
过统计正票数和反票数来决定该中心模板的凹凸痕属性。如果正票数大于（等于）反票数，
则就不是凹凸痕；如果反票数大于正票数，则就是凹凸痕。本发明可用在工业流水线视觉检
测表面凹凸痕工业现场。

[0116] 本发明利用机器视觉检测表面缺陷，具有很高的检测精度和识别效率，能够克服光照较暗、图像偏移这些不利条件，计算快速并且不需要训练数据，符合工业生产检测需
求。

[0117] 为了验证本方法的有效性，利用工业流水线视觉相机对表面缺陷进行检测的验证。通过单目摄像头自动采集图像数据，然后这些数据信息都将传送到计算机。摄像头采集
到的图像为图1。图像为检测物体的表面。首先，需要采集到的图像进行自适应阈值化处理
得到图2。然后对二值化后图像进行Canny边缘提取，提取出检测物体的轮廓。原图像的形状
为不规则多边形，如图3所示。采用Hough变换提取图像中的直线。然后通过聚类算法对直线
进行分类。可以分为四类。然后分别通过最小二乘法对这四类直线进行直线拟合。拟合后四
条直线为：

[0118]          （28）

[0119] 交点分别为：（609,‑5757）、（4091,‑5668）、（522,‑289）、（4066,‑299）。然后求其竖边的距离横边距离，以及竖边的平均值和横边的平均值。把竖边平均值作为矩形的竖边，横
边的平均值作为矩形的横边。然后通过仿射变换将仿射四边形内的图像区域转换成直角矩
形图像，如图4所示。

[0120] 选用灰度共生矩阵 为0°，45°，90°，135°的对比度、熵、能量、逆差分矩和各特征值的平均值作为特征值。

[0121] 由于图像上凹凸痕的大小是不一样的，所以，本发明采用多模板扫描，保证检测准确。模板为矩形，长L∈[1, ]，宽W∈[1, ]。模板一共有 × 个。分别对矩
形图像进行遍历。

[0122] 模板进行特征提取，获得特征向量，计算其与八邻域特征向量的欧式距离，然后与标准阈值进行比较，如图4所示，正票数大于反票数，该区域是凹凸痕。

[0123] 以上所述的，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案
及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。