本发明提供了一种运用图像处理检测铝塑泡罩瑕疵的方法及系统，其中系统包括：第一CCD相机、第二CCD相机、控制装置，用于控制触发传感器并发送触发检测信号至第一CCD相机或第二CCD相机；处理器、所述处理器连接机器视觉处理工具，该机器视觉处理工具用于得到需要深度学习模型检测的ROI；检测模型、目标检测器、写入模块、分类模块；以及训练模型，该训练模型依据历史样品的缺陷状态通过建立训练深度神经网络进行迭代计算获取。为了实现对铝塑泡罩包装药品瑕疵的检测,达到最好的检测效果，收集大量的瑕疵样品，通过深度神经网络对标注准确的数据进行训练，进而得到深度学习模型。
1.一种运用图像处理检测铝塑泡罩瑕疵的方法，其特征在于，包括如下步骤：铝塑包装机将药品上料到pvc泡罩之后，触发第一检测信号传递至第一CCD相机；第一CCD相机对pvc泡罩进行扫描，以获取第一状态的第一图像，从而用于检测近铝箔面的药品瑕疵；
在铝塑热封辊压之后，触发第二检测信号传递至第二CCD相机；第二CCD相机对近pvc面进行扫描，以获取第二状态的第二图像，从而用于检测近pvc面的药品瑕疵；
将第一图像和第二图像进行分割处理，利用机器视觉处理工具得到需要深度学习模型检测的ROI，将此ROI输入至深度学习模型内，通过深度学习模型训练得到的预设方案获取对应的检测结果；
若ROI在预设方案中没有获取对应的检测结果，将此ROI提取，发送至目标检测器获取ROI属性，并利用设置在目标检测器中的写入模块在ROI属性中写入识别特征，依据识别特征将该ROI分类到训练模型中具有相同识别特征的预设子库中；
依据预设子库对应的训练所使用的深度神经网络支脉，所述训练模型启动规避机制，将训练模型的训练资源分配至所述深度神经网络支脉，用于对该ROI进行迭代训练，训练好后按照识别特征分配并存储至深度学习模型的预设方案对应的子集中；
采集若干组瑕疵样品，输入至处理模块对缺陷位置进行标注，并记录缺陷样品中缺陷位置的缺陷状态，同时发送至目标检测器获取缺陷样品属性，并利用设置在目标检测器中的写入模块在缺陷样品属性中写入识别特征，依据识别特征将该缺陷样品分类到具有相同识别特征的预设子库中；
依据预设子库对应建立训练深度神经网络，训练模型依据预设子库内存的大小将训练资源分配至训练深度神经网络支脉，用于对对应预设子库中的缺陷样品进行迭代训练，训练好后按照识别特征分配并存储至深度学习模型的预设方案对应的子集中。
2.根据权利要求1所述的运用图像处理检测铝塑泡罩瑕疵的方法，其特征在于，通过深度学习模型训练得到的预设方案获取对应的检测结果，检测结果包括良品或不同状态的瑕疵品，根据检测结果发送ok或ng信号到后端的剔除装置，并在交互界面显示结果。
3.一种运用图像处理检测铝塑泡罩瑕疵的系统，其特征在于，包括第一CCD相机，用于在铝塑包装机将药品上料到pvc泡罩之后，对pvc泡罩进行扫描，以获取第一状态的第一图像，从而用于检测近铝箔面的药品瑕疵；
第二CCD相机，用于在铝塑热封辊压之后，对近pvc面进行扫描，以获取第二状态的第二图像，从而用于检测近pvc面的药品瑕疵；
控制装置，用于控制触发传感器并发送触发检测信号至第一CCD相机或第二CCD相机；
所述处理器连接机器视觉处理工具，该机器视觉处理工具用于得到需要深度学习模型检测的ROI；
深度学习模型，接收ROI并通过深度学习模型训练得到的预设方案获取对应的检测结果；
目标检测器，用于当ROI在预设方案中没有获取对应的检测结果时，将此ROI提取并获取ROI属性；
写入模块，设置在目标检测器中，用于在ROI属性中写入识别特征，分类模块，依据识别特征将ROI分类到具有相同识别特征的预设子库中；
以及训练模型，该训练模型依据历史样品的缺陷状态通过建立训练深度神经网络进行迭代计算获取；
所述训练模型内设置有处理模块、记录模块、分类模块、多个预设子库及多个训练深度神经网络；
所述处理模块用于对采集的若干组瑕疵样品的缺陷位置进行标注；
所述记录模块用于记录缺陷样品中缺陷位置的缺陷状态；
所述分类模块用于依据缺陷样品属性中写入的识别特征将缺陷样品分类到具有相同识别特征的预设子库中；
依据预设子库对应建立训练深度神经网络，训练模型依据预设子库内存的大小将训练资源分配至训练深度神经网络支脉，用于对对应预设子库中的缺陷样品进行迭代训练，训练好后按照识别特征分配并存储至深度学习模型的预设方案对应的子集中。
4.根据权利要求3所述的运用图像处理检测铝塑泡罩瑕疵的系统，其特征在于，所述第一CCD相机设置在工位一处，该工位一位于铝塑包装机将药品上料到pvc泡罩之后，且位于铝塑热封辊压之前，在铝塑包装机将药品上料到pvc泡罩处设置有第一触发传感器，该第一触发传感器用于触发第一检测信号，并将该第一检测信号发送至控制装置，所述控制装置发送至第一CCD相机，用于第一CCD相机获取铝塑包装机将药品上料到pvc泡罩之后的第一状态的第一图像。
5.根据权利要求3所述的运用图像处理检测铝塑泡罩瑕疵的系统，其特征在于，所述第二CCD相机设置在铝塑热封辊压之后，在铝塑热封辊压的末端设置有第二触发传感器，该第二触发传感器用于触发第二检测信号，并将该第二检测信号发送至控制装置，所述控制装置发送至第二CCD相机，用于第二CCD相机获取铝塑热封辊压之后的第二状态的第二图像。
6.根据权利要求3所述的运用图像处理检测铝塑泡罩瑕疵的系统，其特征在于，所述训练模型内还设置有规避机制，该规避机制用于有选择性的将训练模型的训练资源分配至某一所述深度神经网络支脉。
7.根据权利要求3所述的运用图像处理检测铝塑泡罩瑕疵的系统，其特征在于，还包括交互显示的控制屏，用于交互界面显示结果。
一种运用图像处理检测铝塑泡罩瑕疵的方法及系统
技术领域
[0001] 本发明涉及图像处理技术领域，特别是涉及一种运用图像处理检测铝塑泡罩瑕疵的方法及系统。
背景技术
[0002] 随着近年来药品生产质量管理规范（GMP）不断升级，医药行业对药品生产质量要求越来越高，制药厂家在保证质量的前提下对生产效率提高也有迫切的需求，因此铝塑泡
罩包装机械加装高效、高精度的检测系统势在必行。
[0003] 人工检测的方式无法满足生产效率和检测精度的要求，传统的机器视觉检测方案采用颜色差异结合面积的检测方法只能检测铝箔面的空粒、大缺角、大黑点，无法满足小黑
点、漏粉、表面破损、夹粉等浅色或同色瑕疵的检测需求。
发明内容
[0004] 有鉴于此，本发明的主要目的在于提供一种运用图像处理检测铝塑泡罩瑕疵的方法及系统。
[0005] 本发明采用的技术方案如下：
[0006] 一种运用图像处理检测铝塑泡罩瑕疵的方法，包括如下步骤：
[0007] 铝塑包装机上料到pvc泡罩之后，触发第一检测信号传递至第一CCD相机；第一CCD相机对pvc泡罩进行扫描，以获取第一状态的第一图像；
[0008] 在铝塑热封辊压之后，触发第二检测信号传递至第二CCD相机；第二CCD相机对近pvc面进行扫描，以获取第二状态的第二图像；
[0009] 将第一图像和第二图像进行分割处理，利用机器视觉处理工具得到需要深度学习模型检测的ROI，将此ROI输入至检测模型内，通过检测模型训练得到的预设方案中获取对
应的检测结果；
[0010] 若ROI在预设方案中没有获取对应的检测结果，将此ROI提取，发送至目标检测器获取ROI属性，并利用设置在目标检测器中的写入模块在ROI属性中写入识别特征，依据识
别特征将该ROI分类到训练模型中具有相同识别特征的预设子库中；
[0011] 依据预设子库对应的训练所使用的深度神经网络支脉，所述训练模型启动规避机制，将训练模型的训练资源分配至所述深度神经网络支脉，用于对该ROI进行迭代训练，训
练好后按照识别特征分配并存储至学习模型的预设方案对应的子集中。
[0012] 在上述中，所述训练模型依据如下方法获得：
[0013] 采集若干组瑕疵样品，输入至处理模块对缺陷位置进行标注，并记录缺陷样品中缺陷位置的缺陷状态，同时发送至目标检测器获取缺陷样品属性，并利用设置在目标检测
器中的写入模块在缺陷样品属性中写入识别特征，依据识别特征将该缺陷样品分类到具有
相同识别特征的预设子库中；
[0014] 依据预设子库对应建立训练深度神经网络，训练模型依据预设子库内存的大小分配训练资源分配至所述训练深度神经网络，用于对对应预设子库中的缺陷样品进行迭代训
练，训练好后按照识别特征分配并存储至学习模型的预设方案对应的子集中。
[0015] 在上述中，通过检测模型训练得到的预设方案中获取对应的检测结果，检测结果包括良品或不同状态的瑕疵品，根据检测结果发送ok或ng信号到后端的剔除装置，并在交
互界面显示结果。
[0016] 一种运用图像处理检测铝塑泡罩瑕疵的系统，包括
[0017] 第一CCD相机，用于获取铝塑包装机上料到pvc泡罩之后的第一状态的第一图像；
[0018] 第二CCD相机，用于在铝塑热封辊压之后的第二状态的第二图像；
[0019] 控制装置，用于控制触发传感器并发送触发检测信号至第一CCD相机或第二CCD相机；
[0020] 处理器，用于将第一图像和第二图像进行分割处理；
[0021] 所述处理器连接机器视觉处理工具，该机器视觉处理工具用于得到需要深度学习模型检测的ROI；
[0022] 检测模型，接收ROI并通过检测模型训练得到的预设方案中获取对应的检测结果；
[0023] 目标检测器，用于当ROI在预设方案中没有获取对应的检测结果时，将此ROI提取并获取ROI属性；
[0024] 写入模块，设置在目标检测器中，用于在ROI属性中写入识别特征，
[0025] 分类模块，依据识别特征将ROI分类到具有相同识别特征的预设子库中；
[0026] 以及训练模型，该训练模型依据历史样品的缺陷状态通过建立训练深度神经网络进行迭代计算获取。
[0027] 优选的，所述第一CCD相机设置在铝塑包装机上料到pvc泡罩之后，且位于铝塑热封辊压之前，在铝塑包装机上料到pvc泡罩处设置有第一触发传感器，该第一触发传感器用
于触发第一检测信号，并将该第一检测信号发送至控制装置，所述控制装置发送至第一CCD
相机，用于第一CCD相机获取铝塑包装机上料到pvc泡罩之后的第一状态的第一图像。
[0028] 优选的，所述第二CCD相机设置在铝塑热封辊压之后，在铝塑热封辊压的末端设置有第二触发传感器，该第二触发传感器用于触发第二检测信号，并将该第二检测信号发送
至控制装置，所述控制装置发送至第二CCD相机，用于第二CCD相机获取铝塑热封辊压之后
的第二状态的第二图像。
[0029] 优选的，所述训练模型内设置有处理模块、记录模块、分类模块、多个预设子库及多个训练深度神经网络；
[0030] 所述处理模块用于对采集的若干组瑕疵样品的缺陷位置进行标注；
[0031] 所述记录模块用于记录缺陷样品中缺陷位置的缺陷状态；
[0032] 所述分类模块用于依据缺陷样品属性中写入的识别特征将缺陷样品分类到具有相同识别特征的预设子库中；
[0033] 所述预设子库用于依据识别特征存储对应的缺陷样品；
[0034] 依据预设子库对应建立训练深度神经网络，训练模型依据预设子库内存的大小分配训练资源分配至所述训练深度神经网络，用于对对应预设子库中的缺陷样品进行迭代训
练，训练好后按照识别特征分配并存储至学习模型的预设方案对应的子集中。
[0035] 优选的，所述训练模型内还设置有规避机制，该规避机制用于有选择性的将训练模型的训练资源分配至某一所述深度神经网络支脉。
[0036] 优选的，所述训练模型内还设置有规避机制，该规避机制用于有选择性的将训练模型的训练资源分配至某一训练深度神经网络。
[0037] 优选的，还包括交互显示的控制屏，用于交互界面显示结果。
[0038] 本申请在铝塑包装机上料到pvc泡罩之后，铝塑热封之前设置工位一，该工位一处设置有第一CCD相机，第一CCD相机用于检测近铝箔面的药品瑕疵；在铝塑热封辊压之后设
置工位二，工位二处设置有第二CCD相机，第二CCD相机用于检测近pvc面的药品瑕疵，实现
药品两面检测区域全覆盖。第一CCD相机和第二CCD相机通过铝塑包装机给出的到位信号触
发相机取图，经过图像预处理分割出需要深度学习模型检测的ROI（感兴趣区域），将其传入
模型进行分析，预测出结果是否为良品或各类瑕疵品，根据检测结果发送ok或ng信号到剔
除装置，并在交互界面显示结果。
[0039] 为了实现对铝塑泡罩包装药品瑕疵的检测,达到最好的检测效果，收集大量的瑕疵样品，通过深度神经网络对标注准确的数据进行训练，进而得到深度学习模型，多次迭代
之后达到超过人类专家的高准确度检测的效果，最终实现对铝塑泡罩包装药品的智能检
测。
附图说明
[0040] 以下附图仅对本发明作示意性的说明和解释，并不用于限定本发明的范围，其中：
[0041] 图1为本发明系统的框架原理示意图；
[0042] 图2为本发明训练模型的框架原理示意图；
[0043] 图3为本发明中的检测流程图；
[0044] 图4为本发明中训练模型建立的流程图。
具体实施方式
[0045] 为了使本发明的目的、技术方案、设计方法及优点更加清楚明了，以下结合附图通过具体实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用于解释
本发明，并不用于限定本发明。
[0046] 解释：机器视觉处理工具选用MVTec公司的HALCON。
[0047] ROI为感兴趣区域，在本发明中具有缺陷的区域。
[0048] 参照图1至图2，本发明提供了一种运用图像处理检测铝塑泡罩瑕疵的系统，包括
[0049] 第一CCD相机，用于获取铝塑包装机上料到pvc泡罩之后的第一状态的第一图像；
[0050] 第二CCD相机，用于在铝塑热封辊压之后的第二状态的第二图像；
[0051] 控制装置，用于控制触发传感器并发送触发检测信号至第一CCD相机或第二CCD相机；
[0052] 处理器，用于将第一图像和第二图像进行分割处理；
[0053] 所述处理器连接机器视觉处理工具，该机器视觉处理工具用于得到需要深度学习模型检测的ROI；
[0054] 检测模型，接收ROI并通过检测模型训练得到的预设方案中获取对应的检测结果；
[0055] 目标检测器，用于当ROI在预设方案中没有获取对应的检测结果时，将此ROI提取并获取ROI属性；
[0056] 写入模块，设置在目标检测器中，用于在ROI属性中写入识别特征，
[0057] 分类模块，依据识别特征将ROI分类到具有相同识别特征的预设子库中；
[0058] 以及训练模型，该训练模型依据历史样品的缺陷状态通过建立训练深度神经网络进行迭代计算获取。
[0059] 优选的，所述第一CCD相机设置在铝塑包装机上料到pvc泡罩之后，且位于铝塑热封辊压之前，在铝塑包装机上料到pvc泡罩处设置有第一触发传感器，该第一触发传感器用
于触发第一检测信号，并将该第一检测信号发送至控制装置，所述控制装置发送至第一CCD
相机，用于第一CCD相机获取铝塑包装机上料到pvc泡罩之后的第一状态的第一图像。
[0060] 优选的，所述第二CCD相机设置在铝塑热封辊压之后，在铝塑热封辊压的末端设置有第二触发传感器，该第二触发传感器用于触发第二检测信号，并将该第二检测信号发送
至控制装置，所述控制装置发送至第二CCD相机，用于第二CCD相机获取铝塑热封辊压之后
的第二状态的第二图像。
[0061] 优选的，所述训练模型内设置有处理模块、记录模块、分类模块、多个预设子库及多个训练深度神经网络；
[0062] 所述处理模块用于对采集的若干组瑕疵样品的缺陷位置进行标注；
[0063] 所述记录模块用于记录缺陷样品中缺陷位置的缺陷状态；
[0064] 所述分类模块用于依据缺陷样品属性中写入的识别特征将缺陷样品分类到具有相同识别特征的预设子库中；
[0065] 所述预设子库用于依据识别特征存储对应的缺陷样品；
[0066] 依据预设子库对应建立训练深度神经网络，训练模型依据预设子库内存的大小分配训练资源分配至所述训练深度神经网络，用于对对应预设子库中的缺陷样品进行迭代训
练，训练好后按照识别特征分配并存储至学习模型的预设方案对应的子集中。
[0067] 优选的，所述训练模型内还设置有规避机制，该规避机制用于有选择性的将训练模型的训练资源分配至某一所述深度神经网络支脉。
[0068] 优选的，所述训练模型内还设置有规避机制，该规避机制用于有选择性的将训练模型的训练资源分配至某一训练深度神经网络。
[0069] 优选的，还包括交互显示的控制屏，用于交互界面显示结果。
[0070] 本申请在铝塑包装机上料到pvc泡罩之后，铝塑热封之前设置工位一，该工位一处设置有第一CCD相机，第一CCD相机用于检测近铝箔面的药品瑕疵；在铝塑热封辊压之后设
置工位二，工位二处设置有第二CCD相机，第二CCD相机用于检测近pvc面的药品瑕疵，实现
药品两面检测区域全覆盖。第一CCD相机和第二CCD相机通过铝塑包装机给出的到位信号触
发相机取图，经过图像预处理分割出需要深度学习模型检测的ROI（感兴趣区域），将其传入
模型进行分析，预测出结果是否为良品或各类瑕疵品，根据检测结果发送ok或ng信号到剔
除装置，并在交互界面显示结果。
[0071] 为了实现对铝塑泡罩包装药品瑕疵的检测,达到最好的检测效果，收集大量的瑕疵样品，通过深度神经网络对标注准确的数据进行训练，进而得到深度学习模型，多次迭代
之后达到超过人类专家的高准确度检测的效果，最终实现对铝塑泡罩包装药品的智能检
测。
[0072] 参照图3，除此之外，本发明还提供了一种运用图像处理检测铝塑泡罩瑕疵的方法，包括如下步骤：
[0073] 铝塑包装机上料到pvc泡罩之后，触发第一检测信号传递至第一CCD相机；第一CCD相机对pvc泡罩进行扫描，以获取第一状态的第一图像；
[0074] 在铝塑热封辊压之后，触发第二检测信号传递至第二CCD相机；第二CCD相机对近pvc面进行扫描，以获取第二状态的第二图像；
[0075] 将第一图像和第二图像进行分割处理，利用机器视觉处理工具得到需要深度学习模型检测的ROI，将此ROI输入至检测模型内，通过检测模型训练得到的预设方案中获取对
应的检测结果，通过检测模型训练得到的预设方案中获取对应的检测结果，检测结果包括
良品或不同状态的瑕疵品，根据检测结果发送ok或ng信号到后端的剔除装置，并在交互界
面显示结果。
[0076] 参照图4，在上述中，所述训练模型依据如下方法获得：
[0077] 采集若干组瑕疵样品，输入至处理模块对缺陷位置进行标注，并记录缺陷样品中缺陷位置的缺陷状态，同时发送至目标检测器获取缺陷样品属性，并利用设置在目标检测
器中的写入模块在缺陷样品属性中写入识别特征，依据识别特征将该缺陷样品分类到具有
相同识别特征的预设子库中；
[0078] 依据预设子库对应建立训练深度神经网络，训练模型依据预设子库内存的大小分配训练资源分配至所述训练深度神经网络，用于对对应预设子库中的缺陷样品进行迭代训
练，训练好后按照识别特征分配并存储至学习模型的预设方案对应的子集中。
[0079] 在进行检测时，在铝塑包装机上料到pvc泡罩之后，铝塑热封之前设置工位一，工位一处设置有第一触发传感器，该第一触发传感器用于触发第一检测信号，并将该第一检
测信号发送至控制装置，所述控制装置发送至第一CCD相机，用于第一CCD相机获取铝塑包
装机上料到pvc泡罩之后的第一状态的第一图像。在铝塑热封辊压之后设置工位二，工位二
处有第二触发传感器，该第二触发传感器用于触发第二检测信号，并将该第二检测信号发
送至控制装置，所述控制装置发送至第二CCD相机，用于第二CCD相机获取铝塑热封辊压之
后的第二状态的第二图像。实现药品两面检测区域全覆盖。第一CCD相机和第二CCD相机通
过铝塑包装机给出的到位信号触发相机取图，经过图像预处理分割出需要深度学习模型检
测的ROI（感兴趣区域），将其传入模型进行分析，预测出结果是否为良品或各类瑕疵品，根
据检测结果发送ok或ng信号到剔除装置，并在交互界面显示结果。
[0080] 若瑕疵在预设方案中没有获取对应的检测结果，将此瑕疵提取，发送至目标检测器获取瑕疵属性，并利用设置在目标检测器中的写入模块在瑕疵属性中写入识别特征，依
据识别特征将该瑕疵分类到训练模型中具有相同识别特征的预设子库中；
[0081] 依据预设子库对应的训练所使用的深度神经网络支脉，所述训练模型启动规避机制，将训练模型的训练资源分配至所述深度神经网络支脉，用于对该瑕疵进行迭代训练，训
练好后按照识别特征分配并存储至学习模型的预设方案对应的子集中。
[0082] 以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技
术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨
在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其
它普通技术人员能理解本文披露的各实施例。
