公开了MEMS传感器疵病种类识别方法及系统，所述方法包括：采集MEMS传感器图像；构造改进的对抗生成神经网络结合卷积神经网络的结构；训练所述改进的对抗神经网络结合卷积神经网络结构的参数；将待测MEMS传感器图像输入到训练好的所述网络结构中，判别输入的所述MEMS传感器图像是否有疵病。改进的对抗生成神经网络引入了多组判别器和生成器，一组判别器和生成器用来产生一种疵病的图片，那么当疵病图由生成器生成以后就自带标签了，可以直接投入后面的卷积神经网络进行训练了，刚好弥补了MEMS疵病数据集较小的情况，同时也可以处理多种不同的MEMS疵病类别的分类。
1.一种MEMS传感器疵病种类识别方法，其特征在于，包括：
构造改进的对抗生成神经网络结合卷积神经网络的结构，其中所述改进的对抗生成神经网络包含多组用来生成MEMS传感器不同种类的疵病图片的生成器和判别器，所述生成器包含隐藏向量Z生成层和对所述隐藏向量Z做多层反卷积操作生成疵病图片的多个反卷积层，所述判别器包括多层普通卷积层和全连接层，所述卷积神经网络最后的两个卷积层添加跳跃连接；
将多组噪音输入到所述改进的对抗生成神经网络的生成器中让其生成虚假的MEMS传感器疵病图，把虚假的MEMS传感器疵病图和带标签的真实的MEMS传感器疵病图分别输入到对应的判别器中去训练所述改进的对抗神经网络，待判别器不能分辨出虚假的MEMS传感器疵病图和真实的MEMS传感器疵病图时，利用多组生成器生成多种疵病图，其中每组生成器生成一种疵病图，不同种类的疵病图分别保存到不同的文件夹中，并将真实的MEMS传感器疵病图存入存有与其疵病种类相同的疵病图的文件夹中，将所有文件夹里的图片制作成数据集，然后打散投入到所述卷积神经网络中进行训练；
将需要检测的MEMS传感器图像输入到训练好的所述卷积神经网络，其输出为该MEMS传感器图像各种疵病的概率，选取概率最大的一种作为该MEMS传感器的疵病种类。
2.根据权利要求1所述的MEMS传感器疵病种类识别方法，其特征在于，对所述MEMS传感器图像进行预处理，改变输入图片数据的格式，让其适应所述改进的对抗生成神经网络结合卷积神经网络的结构。
3.一种MEMS传感器疵病种类识别系统，其特征在于，包括：
构造改进的对抗生成神经网络结合卷积神经网络的结构，其中所述改进的对抗生成神经网络包含多组用来生成MEMS传感器不同种类的疵病图片的生成器和判别器，所述生成器包含隐藏向量Z生成层和对所述隐藏向量Z做多层反卷积操作生成疵病图片的多个反卷积层，所述判别器包括多层普通卷积层和全连接层，所述卷积神经网络最后的两个卷积层添加跳跃连接；
将多组噪音输入到所述改进的对抗生成神经网络的生成器中让其生成虚假的MEMS传感器疵病图，把虚假的MEMS传感器疵病图和带标签的真实的MEMS传感器疵病图分别输入到对应的判别器中去训练所述改进的对抗神经网络，待判别器不能分辨出虚假的MEMS传感器疵病图和真实的MEMS传感器疵病图时，利用多组生成器生成多种疵病图，其中每组生成器生成一种疵病图，不同种类的疵病图分别保存到不同的文件夹中，并将真实的MEMS传感器疵病图存入存有与其疵病种类相同的疵病图的文件夹中，将所有文件夹里的图片制作成数据集，然后打散投入到所述卷积神经网络中进行训练；
将需要检测的MEMS传感器图像输入到训练好的所述卷积神经网络，其输出为该MEMS传感器图像各种疵病的概率，选取概率最大的一种作为该MEMS传感器的疵病种类。
4.根据权利要求3所述的MEMS传感器疵病种类识别系统，其特征在于，对所述MEMS传感器图像进行预处理，改变输入图片数据的格式，让其适应所述改进的对抗生成神经网络结合卷积神经网络的结构。
MEMS传感器疵病种类识别方法及系统
技术领域
[0001] 本申请属于图像数据处理技术领域，具体涉及基于改进的对抗生成神经网络结合卷积神经网络的MEMS传感器表面疵病检测方法及系统。
背景技术
[0002] MEMS传感器即微电机系统，是在微电子技术基础上发展起来的多学科交叉的前沿研究领域。经过四十多年的发展，已成为世界瞩目的重大科技领域之一。它涉及电子、机械、材料、物理学、化学、生物学、医学等多种学科与技术，具有广阔的应用前景。截止到2010年，全世界有大约600余家单位从事MEMS的研制和生产工作，已研制出包括微型压力传感器、加速度传感器、微喷墨打印头在内的几百种产品，其中MEMS传感器占相当大的比例。MEMS传感器是采用微电子和微机械加工技术制造出来的新型传感器。与传统的传感器相比，它具有体积小、重量轻、成本低、功耗低、可靠性高、适于批量化生产、易于集成和实现智能化的特点。同时，在微米量级的特征尺寸使得它可以完成某些传统机械传感器所不能实现的功能。也正是因为其尺寸太小，用人工去检测其制造上表面的疵病，错误率不能控制，加上它在产品中具有极其重要的地位，如果它出现了问题，会导致整个产品的功能受影响。如果单用卷积网络去识别，由于MEMS传感器的疵病图的数量集是有限的，训练集不够，也会影响整个网络的识别准确率。
发明内容
[0003] 为了提高MEMS传感器表面疵病检测结果的准确性，本发明提供了基于改进的对抗生成神经网络结合卷积神经网络的MEMS传感器表面检测方法及系统，该方法和系统在有限的MEMS传感器的疵病图数据集下，利用改进的对抗生成神经网络生成更多疵病图数据，然后再投入卷积网络中去进行训练，以此来提高检测结果的准确性。
[0004] 根据本发明实施例的一方面，提供一种MEMS传感器疵病种类识别方法，包括：
[0005] 采集MEMS传感器图像；
[0006] 构造改进的对抗生成神经网络结合卷积神经网络的结构，其中所述改进的对抗生成神经网络包含多组用来生成MEMS传感器不同种类的疵病图片的生成器和判别器；
[0007] 将多组噪音输入到所述改进的对抗生成神经网络的生成器中让其生成虚假的MEMS传感器疵病图，把虚假的MEMS传感器疵病图和带标签的真实的MEMS传感器疵病图分别输入到对应的判别器中去训练所述改进的对抗神经网络，待判别器不能分辨出虚假的MEMS传感器疵病图和真实的MEMS传感器疵病图时，利用多组生成器生成多种疵病图，其中每组生成器生成一种疵病图，不同种类的疵病图分别保存到不同的文件夹中，并将真实的MEMS传感器疵病图存入存有与其疵病种类相同的疵病图的文件夹中，将所有文件夹里的图片制作成数据集，然后打散投入到所述卷积神经网络中进行训练；
[0008] 将需要检测的MEMS传感器图像输入到训练好的所述卷积神经网络，其输出为该MEMS传感器图像各种疵病的概率，选取概率最大的一种作为该MEMS传感器的疵病种类。
[0009] 根据本发明实施例的另一方面，提供一种MEMS传感器疵病种类识别系统，包括：
[0010] 摄像头，采集MEMS传感器图像；
[0011] 处理器，其配配置为：
[0012] 构造改进的对抗生成神经网络结合卷积神经网络的结构，其中所述改进的对抗生成神经网络包含多组用来生成MEMS传感器不同种类的疵病图片的生成器和判别器；
[0013] 将多组噪音输入到所述改进的对抗生成神经网络的生成器中让其生成虚假的MEMS传感器疵病图，把虚假的MEMS传感器疵病图和带标签的真实的MEMS传感器疵病图分别输入到对应的判别器中去训练所述改进的对抗神经网络，待判别器不能分辨出虚假的MEMS传感器疵病图和真实的MEMS传感器疵病图时，利用多组生成器生成多种疵病图，其中每组生成器生成一种疵病图，不同种类的疵病图分别保存到不同的文件夹中，并将真实的MEMS传感器疵病图存入存有与其疵病种类相同的疵病图的文件夹中，将所有文件夹里的图片制作成数据集，然后打散投入到所述卷积神经网络中进行训练；
[0014] 将需要检测的MEMS传感器图像输入到训练好的所述卷积神经网络，其输出为该MEMS传感器图像各种疵病的概率，选取概率最大的一种作为该MEMS传感器的疵病种类。
[0015] 在上述第一方面和第二方面，对所述MEMS传感器图像进行预处理，改变输入图片数据的格式，让其适应所述改进的对抗生成神经网络结合卷积神经网络的结构。
[0016] 本发明的优点在于：
[0017] 1)本发明利用改进的对抗生成网络，克服了在构造神经网络过程中由于缺乏足够的MEMS疵病图片而影响网络识别准确率的问题，本网络可以通过训练改进的对抗生成网络去实现通过生成器去生成疵病图，确保卷积神经网络有足够多的数据集。
[0018] 2)本发明前半部分改进的对抗生成神经网络，相较传统的对抗生成网络而言，传统的对抗生成网络只有一组生成器和判别器而改进的对抗生成网络引入多组生成器和判别器，每组生成器和判别器对应去生成一种MEMS传感器疵病的图片，这样生成的疵病图片就自带标签了，不需要人为的再去处理。
附图说明
[0019] 为了更清楚地说明本发明实施例的技术方案，下面将对实施例的附图作简单地介绍。
[0020] 图1示出了根据本发明一实施例的MEMS传感器采样示意图。
[0021] 图2示出了根据本发明一实施例的用于MEMS传感器疵病识别的改进的对抗生成神经网络结合卷积神经网络结构。
具体实施方式
[0022] 本发明采用改进的对抗生成神经网络结合卷积神经网络作为MEMS传感器缺陷检测的方法，该方法较传统方法的优点在于它可以利用对抗生成神经网络生成更多的数据集，去提升网络的准确率。传统的对抗生成神经网络只有一组判别器和生成器，而本发明改进的对抗生成神经网络引用了多组判别器和生成器，可以直接生成带标签的数据，无需再手工制作标签数据，可以直接投入卷积神经网络进行计算，以实现检测过程的自动化，具有重要的应用价值。下文将详细介绍MEMS传感器疵病种类识别方法的具体步骤。
[0023] 步骤1，采集MEMS传感器的图像。如图1所示，MEMS传感器采用辊筒输送机传送，输送机上安装有多个摄像头与多个光源，从多个方位对MEMS图片进行采样，以获得MEMS传感器表面更加全面的数据。
[0024] 步骤2，图像的预处理：改变输入图片数据的格式，让其适应网络结构。把图像的数据转化为32位浮点型，并通过X/255这个运算式把MEMS图片数据映射到0到1的区间让计算机去进行计算，其中X表示的是图像的数据集矩阵；利用现有框架通过相应函数(如Tensorflow中的reshape函数)改变图片尺寸，使其能够适应网络框架。
[0025] 步骤3，构造用于MEMS传感器疵病检测的改进的对抗生成神经网络结合卷积神经网络的结构。改进的对抗生成神经网络包含多组生成器和判别器，一个生成器和一个判别器为一组，分别用来生成MEMS传感器不同种类的疵病图片。卷积神经网络由多个卷积层、池化层和全连接层构成用于MEMS传感器疵病种类判断。
[0026] 图2示出了一种改进的对抗生成神经网络结合卷积神经网络的结构，首先2组生成器内随机产生了2组隐藏向量Z，然后经过多层反卷积的操作，生成了2种主要的MEMS传感器疵病图，因为之前通过输入样本和判别器对抗进行训练，这时生成的图片足够逼真，加上是用一种生成器一一对应生一种疵病图，只需要在网络内部进行预处理就可以直接投入卷积网络进行训练，不需要人工标记。在卷积神经网络中最后的两个卷积层添加跳跃连接，通过这种方式，网络模型可以自动选择是经由这两个卷积层完成特征变换，还是选择跳跃连接而直接跳过这两个卷积层，亦或结合两个卷积层和跳跃连接的输出。需要说明的是，改进的对抗生成神经网络中生成器和判别器的具体数量根据需求来确定，并不限定为图2所示的2组。
[0027] 步骤4，构造训练样本：通过生成器G生成样本图片输入到改进的对抗生成神经网络中的判别器，以MEMS传感器表面疵病图作为对抗生成神经网络判别器中的标签，给判别器作为对比，去训练改进的对抗神经网络，让其生成更加逼真的疵病图(虚假的MEMS传感器疵病图)；把原有的疵病图(真实的MEMS传感器疵病图)和通过改进的对抗生成神经网络生成的疵病图作为卷积网络的训练样本。
[0028] 步骤5，训练改进的对抗生成神经网络结合卷积神经网络的结构。
[0029] 网络前半部分为改进的对抗生成神经网络，当输入训练样本时，对于判别器来说要使输入为真实图片时判定为真，而输入生成图片时要判定为假，所以多个判别器的损失函数都构造为：
[0030] 判别模型：log(D1(x))+log(1‑D2(G(z)))
[0031] D1(x)为输入真实图片时所对应的值，希望它为1；D2(G(z))是输入生成图片时所对应的值，希望他为0。对于生成器来说，要使得生成结果被判别器判定为真，所以2个生成器的损失函数都构造为：
[0032] 生成模型：log(D2(G(z)))
[0033] 根据此损失函数，然后利用反向传播算法训练对抗生成神经网络中生成器和判别器中的参数。
[0034] 网络后半部分是卷积神经网络，其损失函数可以简化为：
[0035] H(p||q)＝‑logoi
[0036] 其中oi为预测真实类别i上的概率，最小化损失函数也就是最大化正确类别的概率的过程，以此损失函数来优化参数，达到训练对抗生成神经网络的目的。
[0037] 采用经典BP算法也就是反向传播算法，利用最小化损失函数去优化网络里的参数。这里涉及到一些超参数的设定，以Tensorflow为例，选择L2正则化方法，并且选择正则化系数X＝0.13，防止模型过拟合；另外，根据模型的迭代轮数自动更新的学习率，给定一个初始学习率和学习衰减率，学习率公式为：学习率＝初始学习率*学习衰减当前批训练的轮数/总样本除以批训练的尺寸率 ，利用这个公式可以很好避免模型学习的过快或过慢。
[0038] 步骤6，将需要检测的MEMS传感器图像输入到训练好的对抗生成神经网络结合卷积神经网络结构中，去判别输入MEMS传感器图像是否有疵病，输入图像为经过预处理后的MEMS传感器的图片，经过对抗生成神经网络结合卷积神经网络结构的计算后，输出为疵病的类别或者输出无疵病。
[0039] 所述步骤4～6实现MEMS传感器疵病种类识的方法可概括为：将多组噪音输入到所述改进的对抗生成神经网络的生成器中让其生成虚假的MEMS传感器疵病图，把虚假的MEMS传感器疵病图和带标签的真实的MEMS传感器疵病图分别输入到对应的判别器中去训练所述改进的对抗神经网络，待判别器不能分辨出虚假的MEMS传感器疵病图和真实的MEMS传感器疵病图时，利用多组生成器生成多种疵病图，其中每组生成器生成一种疵病图，不同种类的疵病图分别保存到不同的文件夹中，并将真实的MEMS传感器疵病图存入存有与其疵病种类相同的疵病图的文件夹中，将所有文件夹里的图片制作成数据集，然后打散投入到所述卷积神经网络中进行训练；将需要检测的MEMS传感器图像输入到训练好的所述卷积神经网络，其输出为该MEMS传感器图像各种疵病的概率，选取概率最大的一种作为该MEMS传感器的疵病种类。
[0040] 在一些示例中，还提供一种MEMS传感器疵病种类识别系统，该系统包括摄像头和检测设备，摄像头采集MEMS传感器的样本图像，检测设备的处理器被配置为执行上述MEMS传感器疵病种类识别方法的步骤2～6的全部或部分内容。
