基于深度哈希网络的铸件缺陷图像检测方法专利检索-输入层多层感知器前馈神经网络人工神经网络人工智能专利检索查询-专利查询网

积极推动地理标志专门立法

2022-03-10 地理标志，立法，知识产权
保护知识产权是对创新最大的激励

2022-03-10 保护知识产权，创新，激励
谢商华：加快制定知识产权基本法

2022-03-10 知识产权基本法
擦亮“双奥之城”品牌

2022-03-10 双奥，知识产权
让冰雪运动“热”力全开

2022-03-10 冰雪运动，知识产权
携手共奋进　走好强国路

2022-03-10 强国，知识产权
坚持创新引领　方能稳中求进

2022-03-10 创新，稳中求进，知识产权
答好“两张卷” 奋进新征程

2022-03-10 知识产权
专家解读政府工作报告中的创新和知识产权相关部署

2022-03-10 政府工作报告，创新，知识产权
今年政府工作报告指出：加强知识产权保护和运用

2022-03-10 政府工作报告，知识产权保护

基于深度哈希网络的铸件缺陷图像检测方法

阅读：1023发布：2021-01-21

IPRDB可以提供基于深度哈希网络的铸件缺陷图像检测方法专利检索，专利查询，专利分析的服务。并且一种基于深度哈希网络的铸件缺陷图像检测方法属于材料铸件缺陷图像检测领域，包含以下步骤：对网络进行初始化，在ImageNet数据集上预训练一个基于AlexNet的卷积神经网络；输入图像，并且对图像进行预处理；将预处理过的图像输入到一个拥有5层卷积和3层池化的卷积神经网络当中；将最后一层池化的结果输入到两个全连接层；将全连接层的输出输入到哈希层；将哈希层的输出输入到分类层，得到输入图像属于每个类别的概率来确定输入图像的分类结果；在训练网络过程中，当达到测试迭代次数时，会得到当前迭代次数的网络正确率，当达到最大迭代次数时，会得到最终的网络模型，本发明能够很好的提高图像特征的提取能力和图像分类的精度。，下面是基于深度哈希网络的铸件缺陷图像检测方法专利的具体信息内容。

权利要求

1.一种基于深度哈希网络的铸件缺陷图像检测方法，其特征是包括下列步骤：

a、在ImageNet上预训练一个卷积神经网络；

b、输入图像，并对输入图像进行预处理；

c、已预处理的图像开始进入深度哈希网络的第一个卷积层，并将第一个卷积层的输出结果进行max-pooling运算；

d、上一层的输出结果进入第二个卷积层，并将第二个卷积层的输出结果进行max-pooling运算；

e、上一层的输出结果进入第三个卷积层，进行卷积运算，将第三层的输出结果输入第四个卷积层，再进行卷积运算f、上一层的输出结果进入第五个卷积层，并将第五个卷积层的输出结果进行max-pooling运算；

g、上一层的输出结果进入深度哈希网络的两个全连接层；

h、上一层的输出结果进入深度哈希网络的哈希层；

i、上一层的输出结果进入深度哈希网络的最后一层，得到图像属于有缺陷与无缺陷两个类别的概率，得出图像分类结果。

2.根据权利要求1所述的基于深度哈希网络的铸件缺陷图像检测方法，其特征在于，步骤a中，所述预训练一个卷积神经网络的方法是基于AlexNet图像分类网络，使用此框架在ImageNet上训练网络，得到的网络参数用于训练特定材料铸件图像深度哈希网络的初始参数。

3.根据权利要求1所述的基于深度哈希网络的铸件缺陷图像检测方法，其特征在于，步骤b中，网络训练开始之前，网络会计算产生一个均值文件，对于训练集中的每副图像，在进入网络后会在每一个像素点上减去这个全局均值。进入网络训练的图像，会随机裁剪成227×227的碎片。

4.根据权利要求1所述的基于深度哈希网络的铸件缺陷图像检测方法，其特征在于，步骤c-h中，网络的进程可以表示成从网络的上一层到网络下一层的一种非线性关系：其中是对于输入图像经过第p层的图像特征输出,Wp和bp分别是第p

层的权重和偏置项，fp是ReLu激活函数，其表达式为fp(x)＝max(0,x)，其中x表示卷积层和全连接层的输出，每一层卷积和全连接层都使用ReLu激活函数，但是在第一层和第二层的ReLu前要进行局部响应归一化操作。

5.根据权利要求4所述的基于深度哈希网络的铸件缺陷图像检测方法，其特征在于，步骤c、d中，在使用激活函数之前要进行局部响应归一化LRN，活性定义为：其中∑(...)表示在相同空间位置上转换n个相邻的核映射，

N是该层中核的总数，k,n,α,和β是超参数，表示在位置(x，y)处的像素点通过应用核计算出的神经元激活度。

6.根据权利要求1或5所述的基于深度哈希网络的铸件缺陷图像检测方法，其特征在于，步骤c、d和f中，池化运算是在第一个LRN，第二个LRN以及第5层卷积后进行的，采用的方式为最大值池化。

7.根据权利要求1所述的基于深度哈希网络的铸件缺陷图像检测方法，其特征在于，步骤g中，全连接层中采用dropout技术，作用是按0.5的概率使得这两层中每个神经元的输出为0，去除的神经元不参与网络的前向与反向转播。输入的图像在不断变化，神经网络就会有不同的结构，但是这些结构之间的权值是共享的。

8.根据权利要求1所述的基于深度哈希网络的铸件缺陷图像检测方法，其特征在于，步骤h中，哈希层的激活函数为sigmiod，假设二进制码的长度为k，它的表达式为：其中hi是哈希层的图像特征向量输出，β是超参数。

9.根据权利要求8所述的基于深度哈希网络的铸件缺陷图像检测方法，其特征在于，步骤h中，哈希层的输出为二进制编码，二进制编码通过一个阈值函数，二进制码的长度为k，其表达式为

10.根据权利要求8所述的基于深度哈希网络的铸件缺陷图像检测方法，其特征在于，步骤h中，哈希层采用了一种分块模型，假设哈希层输出的图像特征向量为m，将图像特征向量分为k个块，每块包含向量维数为m/k，其中m是k的倍数，其中特征向量的尺寸可以通过控制第7层全连接层的输出单元数量来确定，然后通过一个全连接层将每块映射成一维数字，再通过sigmoid函数将输出限制在[0,1]范围内，最后将这些值经过阈值函数生成紧凑简洁的二进制码。假设给定训练数据为A＝{A1,A2,...,An}，每个数据都有一个属于该类别的标签，经过哈希层后可以得到它们的哈希码AH＝{H1,H2,...,Hn}，对于一个待测试图像Aq，经过哈希层后其哈希编码为Hq，如果Hq与Hi的汉明距离小于设定的阈值，此时可以得到与Aq相关的数据集此时在欧几里得空间中，通过比较每张图像的最后一层全连接输出的特征向量来确定测试图像和相关数据集S中哪张图像最相近，Vq和ViS分别表示图像Aq和从网络第7层输出的特征向量，定义欧几里得距离ei＝||Vq-ViS||.，ei的值越小，说明两张图像的相似性越高，然后再参照两张图像是否有相同的标签信息。

说明书全文

基于深度哈希网络的铸件缺陷图像检测方法

技术领域

[0001] 本发明属于材料铸件缺陷图像检测领域，具体涉及一种基于深度哈希网络的无损检测方法。

背景技术

[0002] 在现代工业领域中，无损检测技术发展迅速。无损检测方法有很多，根据美国国家宇航局调研分析，可以分为6大类约70余种。目前，材料缺陷检测技术在航空航天，建筑，交通，制造等行业有着广泛的应用，不仅保持了这些行业的正常运行，而且提供了产品质量和安全保证。因此，一系列的材料无损检测设备与技术被应用到实际的生产生活当中，例如超声波检测、红外检测、电子涡流检测、磁粉检测、渗透检测等。但是，这些现有技术存在诸如检测准确性不高、自动化程度较差、对人为因素有严重依赖以及需要复杂的技术操作等问题。近年来，机器学习一直是人工智能领域炙手可热的研究对象，专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。受到机器学习的启发，我们的目标是使用机器来高效快速地识别材料铸件是否存在缺陷，而真实材料能够被转变成包含所有材料表征的图像。因此，这项工作变为一个图像分类问题。最近的研究表明，深度卷积神经网络(CNN)能够显著提高图像分类，目标检测以及许多其他视觉任务的性能，展现了深度CNN网络对于丰富图像表现的学习能力。在这些任务中，深度CNN能够被看作是一个专门针对某个任务设计的目标函数的特征提取器。由于深度CNN捕捉图像潜在特征的能力非常强，Krizhevsky在图像分类中使用了来自网络第7层的特征向量，并在ImageNet数据集上表现出了出色的性能。然而，由于来自CNN的特征向量是高维的，并且直接在欧几里得空间中比较两个4096维的特征向量是效率比较低的，高维数据所需的大量计算给机器运行速度和存储空间带来了巨大挑战。目前，由于二进制哈希码能够在保证精确度的基础上很好地解决计算速度和存储效率，二进制哈希理论引起了研究人员的广泛关注。这种方法旨在将高维图像表示映射到汉明空间中的简洁二进制码，同时保持一些相似性(例如基于标签的语义相似性)。现有的哈希理论可以分为有监督哈希和无监督哈希，它们的区别在于是否使用了监督信息，比如每个数据的标签信息。大多数哈希方法遵循的标准程序是首先提取诸如广义搜索树(GIST)和尺度不变特征变换(SIFT)之类的特征作为图像表示向量，然后分离投影和量化步骤来将这些特征向量转换成为二进制编码，但是这些程序的学习能力不足以适应复杂的图像特征，因为手工特征会导致固有的图像信息丢失。理想情况下，在哈希码学习过程中，一张图像要被期望能够有效地保存图像特征信息。考虑到深度CNN的自主学习能力和哈希理论的优越性，我们将二者结合构造深度哈希网络应用在材料缺陷无损检测当中。

发明内容

[0003] 本发明的目的是提供一种基于深度哈希网络的铸件图像检测方法，能够提高材料无损检测精度以及机器运行速度，达到实现自动化与智能化的目的。

[0004] 本发明是这样实现的，包括下列步骤：

[0005] a、在ImageNet上预训练一个卷积神经网络；

[0006] b、输入图像，并对输入图像进行预处理；

[0007] c、图像(已预处理)开始进入深度哈希网络的第一个卷积层，并将第一个卷积层的输出结果进行max-pooling运算；

[0008] d、上一层的输出结果进入第二个卷积层，并将第二个卷积层的输出结果进行max-pooling运算；

[0009] e、上一层的输出结果进入第三个卷积层，进行卷积运算，将第三层的输出结果输入第四个卷积层，再进行卷积运算；

[0010] f、上一层的输出结果进入第五个卷积层，并将第五个卷积层的输出结果进行max-pooling运算；

[0011] g、上一层的输出结果进入深度哈希网络的两个全连接层；

[0012] h、上一层的输出结果进入深度哈希网络的哈希层；

[0013] i、上一层的输出结果进入深度哈希网络的最后一层(Softmax)，得到图像属于两个类别(有缺陷与无缺陷)的概率，得出图像分类结果。

[0014] 步骤a中，所述预训练一个卷积神经网络的方法是基于AlexNet图像分类网络，在ImageNet数据集上训练网络，得到的网络参数用于本专利的初始参数。

[0015] 步骤b中，在训练开始前，对于所有的训练集，网络要计算并产生一个均值文件，对于每一张预训练图像，在进入网络后都要在每一个像素点上减去全局均值。对于输入图像，网络要随机裁剪成227×227的碎片，并在这些提取碎片上进行网络的训练。

[0016] 步骤c-h中，对于每一层卷积和两层全连接，都可以表示成从上一层到下一层的一种非线性关系：

[0017]

[0018] 其中：是对于输入图像经过第p层的图像特征输出,Wp和bp分别是第p层的权重和偏置项，fp是一个被称为ReLu的激活函数，其定义如下：

[0019] fp(x)＝max(0,x)，其中x表示卷积层和全连接层的输出，并且每一层卷积和全连接后紧跟的操作是ReLu，第一层和第二层的ReLu操作是跟在局部响应归一化操作后的。

[0020] 步骤c、d中，第一层卷积和第二层卷积后紧跟一个局部响应归一化(LRN)层，响应归一化活性定义如下：

[0021]

[0022] 其中：∑(...)表示在相同空间位置上转换n个相邻的核映射，N是该层中核的总数，k,n,α,和β是超参数，它们的值取决于校验集中的数据，表示在位置(x，y)处的像素点通过应用核计算出的神经元激活度，然后再利用ReLu非线性。

[0023] 步骤c、d和f中，max-pooling运算是紧跟在第一个LRN、第二个LRN以及第5层卷积后的。

[0024] 步骤g中，对于两个全连接层，使用dropout技术，它做的就是以0.5的概率将每个隐层神经元的输出设置为零。以这种方式除掉的神经元既不参与前向传播，也不参与反向传播。所以每次提出一个输入，该神经网络就尝试一个不同的结构，但是所有这些结构之间共享权重。神经元不能依赖于其他特定神经元而存在，所以这种技术降低了神经元复杂的互适应关系。

[0025] 步骤h中，sigmoid被选作为哈希层的激活函数，它的目的在于使该层的输出近似到[0,1]之间，假设二进制码的长度为k，其定义如下：

[0026]

[0027] 其中，hi是哈希层的图像特征向量输出，β是超参数。二进制码通过如下阈值函数得到：

[0028]

[0029] 步骤h中，哈希层采用了一种分块模型，假设哈希层输出的图像特征向量为m，将图像特征向量分为k个块，每块包含向量维数为m/k，其中m是k的倍数，其中特征向量的尺寸可以通过控制第7层全连接层的输出单元数量来确定。然后通过一个全连接层将每块映射成一维数字，再通过sigmoid函数将输出限制在[0,1]范围内，最后将这些值经过阈值函数生成紧凑简洁的二进制码。

[0030] 本发明的优点及积极效果是：

[0031] 本发明通过将传统卷积神经网络与哈希理论相结合，并在哈希层中考虑到每一个哈希码之间的独立性和冗余性，采用了一种分块模型，每一块生成一个哈希字节，这样做能够很好的提高图像特征的提取能力和图像分类的精度，并且节省了机器运行的时间，避免了人为因素的干扰。

附图说明

[0032] 图1为本发明的基于深度哈希网络的材料缺陷无损检测方法的工作流程图；

[0033] 图2为本发明的基于深度哈希网络的材料缺陷无损检测方法的网络结构图；

[0034] 图3为本发明的基于深度哈希网络的材料缺陷无损检测方法中哈希分块模型的网络结构图。

具体实施方式

[0035] 如图1和图2所示，本发明是这样实现的，包括下列步骤：

[0036] a、在ImageNet上预训练一个卷积神经网络，预训练一个卷积神经网络的方法是基于AlexNet图像分类网络，在ImageNet数据集上训练网络，得到的网络参数用于本发明的初始参数。

[0037] b、输入图像，并对输入图像进行预处理，预处理过程为：对于所有的训练集，网络要计算并产生一个均值文件，对于每一张预训练图像，在进入网络后都要在每一个像素点上减去全局均值。对于输入图像，网络要随机裁剪成227×227的碎片，并在这些提取碎片上进行网络的训练。

[0038] c、图像(已预处理)开始进入深度哈希网络的第一个卷积层，并将第一个卷积层的输出结果进行max-pooling运算；

[0039] d、上一层的输出结果进入第二个卷积层，并将第二个卷积层的输出结果进行max-pooling运算；

[0040] e、上一层的输出结果进入第三个卷积层，进行卷积运算，将第三层的输出结果输入第四个卷积层，再进行卷积运算；

[0041] f、上一层的输出结果进入第五个卷积层，并将第五个卷积层的输出结果进行max-pooling运算；

[0042] g、上一层的输出结果进入深度哈希网络的两个全连接层，对于两个全连接层，使用dropout技术，它做的就是以0.5的概率将每个隐层神经元的输出设置为零。以这种方式除掉的神经元既不参与前向传播，也不参与反向传播。所以每次提出一个输入，该神经网络就尝试一个不同的结构，但是所有这些结构之间共享权重。神经元不能依赖于其他特定神经元而存在，所以这种技术降低了神经元复杂的互适应关系。

[0043] h、上一层的输出结果进入深度哈希网络的哈希层；

[0044] i、上一层的输出结果进入深度哈希网络的最后一层(Softmax)，得到图像属于两个类别(有缺陷与无缺陷)的概率，得出图像分类结果。

[0045] 步骤c-h中，对于每一层卷积和两层全连接，都可以表示成从上一层到下一层的一种非线性关系：

[0046]

[0047] 其中：是对于输入图像经过第p层的图像特征输出,Wp和bp分别是第p层的权重和偏置项，fp是一个被称为ReLu的激活函数，其定义如下：

[0048] fp(x)＝max(0,x)，其中x表示卷积层和全连接层的输出，并且每一层卷积和全连接后紧跟的操作是ReLu，第一层和第二层的ReLu操作是跟在局部响应归一化操作后的。

[0049] 步骤c、d中，第一层卷积和第二层卷积后紧跟一个局部响应归一化(LRN)层，响应归一化活性定义如下：

[0050]

[0051] 其中：∑(...)表示在相同空间位置上转换n个相邻的核映射，N是该层中核的总数，k,n,α,和β是超参数，它们的值取决于校验集中的数据，表示在位置(x，y)处的像素点通过应用核计算出的神经元激活度，然后再利用ReLu非线性。

[0052] 步骤c、d和f中，max-pooling运算是紧跟在第一个LRN、第二个LRN以及第5层卷积后的。

[0053] 步骤h中，sigmoid被选作为哈希层的激活函数，它的目的在于使该层的输出近似到[0,1]之间，假设二进制码的长度为k，其定义如下：

[0054]

[0055] 其中，hi是哈希层的图像特征向量输出，β是超参数。二进制码通过如下阈值函数得到：

[0056]

[0057] 步骤h中，哈希层采用了一种分块模型，假设哈希层输出的图像特征向量为m，将图像特征向量分为k个块，每块包含向量维数为m/k，其中m是k的倍数，其中特征向量的尺寸可以通过控制第7层全连接层的输出单元数量来确定。然后通过一个全连接层将每块映射成一维数字，再通过sigmoid函数将输出限制在[0,1]范围内，最后将这些值经过阈值函数生成紧凑简洁的二进制码。

[0058] 为了更好地理解本发明的检测方法，下面通过对一个具体的检测实例进行描述，首先在ImageNet上训练一个网络，网络的最终参数用于本发明的初始参数，然后将输出图像进行预处理，使得所有的输入图像大小都成为227×227；

[0059] 然后将图像输入到第一层卷积层(conv1)中，conv1层的卷积核大小为11×11，进行卷积操作的步长为4，边缘填充系数为0，输出的特征图数量为96.大小227的图像经过conv1后输出的特征图大小为：

[0060] [(227-11)/4+1]×[(227-11)/4+1]＝55×55

[0061] 所以，conv1总共输出96个大小为55×55的特征图；

[0062] 然后对conv1中输出的特征图进行pooling(pool1)计算，也就是池化过程，又称下采样，进行pooling计算的目的是减少上一层输出的特征维数。进行池化操作的步长为2，边缘填充系数为0，池化区域大小为3。所以，经过池化后特征图的大小为[(55-3)/2+1]×[(55-3)/2+1]＝27×27，特征图依然是96个，因此，在pooling计算后，输出96个大小为27×27的特征图；

[0063] 然后进入第二个卷积层(conv2)，在conv2中的卷积运算和conv1相同，不同点在于，conv2层中卷积核的大小为5×5，步长为4，边缘填充系数为2，输出的特征图个数为256，经过conv2层后总共输出256个大小为27×27的特征图；

[0064] 然后对conv2中输出的特征图进行pooling(pool2)计算，过程类似pool1，并且pool2的配置与pool1相似，经过pool2层后特征图的大小为[(27-3)/2+1]×[(27-3)/2+1]＝13×13，特征图个数为256，因此，经过pool2层后总共输出256个大小为13×13的特征图；

[0065] 然后进入第三个卷积层(conv3)，conv3层中卷积核大小为3×3，步长为2，边缘填充系数为1，输出特征图个数为384，所以，经过conv3后总共输出384个大小为13×13的特征图；

[0066] 然后进入第四个卷积层(conv4)，conv4的卷积运算配置与conv3相同，所以，经过conv4后总共输出384个大小为13×13的特征图；

[0067] 然后进入第五个卷积层(conv5)，conv5层中卷积核大小为3×3，步长为2，边缘填充系数为1，输出特征图个数为256，所以，经过conv5后总共输出256个大小为13×13的特征图；

[0068] 然后对conv5中输出的特征图进行pooling(pool3)计算，过程和配合与pool1相同，按照同样的分析过程，经过pool3层后总共输出256个大小为13×13的特征图。

[0069] 然后进入两个全连接层(F6与F7)，全连接层的作用是讲高维特征图转变为一个列向量，也就是用此包含原始图像所有特征的列向量代表原来复杂的图像；

[0070] 然后进入如图3所示的哈希层中，哈希层采用了一种分块模型，假设哈希层输出的图像特征向量为m，将图像特征向量分为k个块，每块包含向量维数为m/k，其中m是k的倍数，其中特征向量的尺寸可以通过控制第7层全连接层的输出单元数量来确定。然后通过一个全连接层将每块映射成一维数字，再通过sigmoid函数将输出限制在[0,1]范围内，最后将这些值经过阈值函数生成紧凑简洁的二进制码。假设给定训练数据为A＝{A1,A2,...,An}，每个数据都有一个属于该类别的标签，经过哈希层后可以得到它们的哈希码AH＝{H1,H2,...,Hn}，对于一个待测试图像Aq，经过哈希层后其哈希编码为Hq，如果Hq与Hi的汉明距离小于设定的阈值，此时可以得到与Aq相关的数据集此时在欧几里得空间中，通过比较每张图像的最后一层全连接输出的特征向量来确定测试图像和相关数据集S中哪张图像最相近，Vq和ViS分别表示图像Aq和从网络第7层输出的特征向量，定义欧几里S得距离ei＝||Vq-Vi||.ei的值越小，说明两张图像的相似性越高，然后再参照两张图像是否有相同的标签信息。

[0071] 最后进入softmax层，输出是输入图像属于某一特定类别的概率分布，最大概率值对应的输出就是该网络对输入图像识别分类的结果。

[0072] 上面结合附图对本发明方案的实施例作了详细说明，但是本发明并不限于上述实施例，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。

标题	发布/更新时间	阅读量
层压输入设备-专利编号CN107924240A	2020-05-11	984
输入设备外层和背光-专利编号CN106030444B	2020-05-11	632
一种linux下层次式输入法-专利编号CN107193556A	2020-05-13	491
织物层压触摸输入设备-专利编号CN107077248A	2020-05-13	526
汉字层次声码输入法-专利编号CN1556460B	2020-05-12	707
汉字层次声码输入法-专利编号CN1556460A	2020-05-13	750
全形层码汉字输入法-专利编号CN1439950A	2020-05-12	263
输入设备层和嵌套-专利编号CN103412618A	2020-05-12	919
输入设备层和嵌套-专利编号CN103412618B	2020-05-11	322
多层次输入设备-专利编号CN201319184Y	2020-05-11	275

基于深度哈希网络的铸件缺陷图像检测方法

基于深度哈希网络的铸件缺陷图像检测方法

技术领域

背景技术

发明内容

附图说明

具体实施方式

IPRDB

热门服务

关于我们

友情链接

联系方式