产品缺陷检测数据处理方法、装置、系统和设备转让专利

申请号 : CN201910844469.6

文献号 : CN110554047B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 沈小勇张文杰刘刚

申请人 : 腾讯科技(深圳)有限公司

摘要 :

本申请涉及一种产品缺陷检测数据处理方法、装置、系统和设备,所述方法包括:接收产品缺陷检测模型生成请求,所述产品缺陷检测模型生成请求携带模型训练参数,所述模型训练参数根据用户的参数配置操作确定,所述模型训练参数包括缺陷学习类别或者训练图片信息中的至少一种;根据所述模型训练参数获取对应的训练图片以及获取所述训练图片对应的缺陷类别,得到训练样本;根据所述训练样本进行模型训练,生成目标缺陷检测模型,所述目标缺陷检测模型用于根据待测产品对应的待测图片对所述待测产品进行缺陷检测,得到所述待测产品的缺陷检测结果。上述方法得到的模型,产品缺陷检测效率高以及灵活性高。

权利要求 :

1.一种产品缺陷检测数据处理方法,所述方法包括:在生产终端显示的参数配置界面配置模型训练参数,所述模型训练参数包括缺陷学习类别和训练图片存储路径;所述参数配置界面显示候选的缺陷学习类别、缺陷学习类别增加控件以及训练图片路径输入控件,以使得所述生产终端通过选择操作选择候选的缺陷学习类别,或者对所述缺陷学习类别增加控件的操作增加新的缺陷学习类别的至少一种确定模型训练参数中的缺陷学习类别,通过对所述训练图片路径输入控件的操作确定所述模型训练参数中的训练图片存储路径;

接收所述生产终端发送的产品缺陷检测模型生成请求,所述产品缺陷检测模型生成请求携带所述模型训练参数以及模型对应的产品相关信息;所述产品相关信息包括产品对应的制程信息、类别信息或者生产环境信息中的至少一种;

根据所述模型训练参数中的训练图片存储路径获取对应的训练图片以及获取所述训练图片对应的缺陷类别,得到训练样本;

根据所述训练样本进行模型训练,生成目标缺陷检测模型;

根据所述模型对应的产品相关信息建立所述目标缺陷检测模型与产品相关信息的对应关系;

接收产品缺陷检测任务,所述产品缺陷检测任务携带目标产品相关信息以及待测产品的产品标识;所述目标产品相关信息为所述产品缺陷检测任务对应的产品的产品相关信息;

根据所述对应关系,确定所述目标产品相关信息对应的目标缺陷检测模型,利用所述目标缺陷检测模型对所述目标产品相关信息所对应的待测图片进行缺陷检测,得到所述待测图片对应的待测产品的目标缺陷类别;其中,所述待测产品为多个;

获取所述待测产品的目标缺陷类别对应的处理方式,根据所述目标缺陷类别对应的处理方式对所述待测产品的产品标识进行分类,得到各个所述处理方式对应的产品标识集合,向生产终端输出各个所述处理方式对应的产品标识集合,所述处理方式为对产品进行处理的方式,所述产品标识根据产品的生产顺序以及排放位置生成。

2.根据权利要求1所述的方法,其特征在于,所述根据所述模型训练参数中的训练图片存储路径获取对应的训练图片以及获取所述训练图片对应的缺陷类别,得到训练样本包括:

获取所述缺陷学习类别对应的训练图片以及各个所述训练图片分别对应的缺陷类别,得到训练样本,其中,所述目标缺陷检测模型将所述缺陷学习类别作为候选缺陷类别,根据所述待测图片从所述候选缺陷类别中筛选得到所述待测产品的目标缺陷类别。

3.根据权利要求1所述的方法,其特征在于,所述根据所述训练样本进行模型训练,生成目标缺陷检测模型包括:

将所述训练样本中的训练图片输入到模型中,得到模型预测的缺陷类别;

根据模型预测的缺陷类别与训练图片实际的缺陷类别的差异计算得到损失值,利用梯度下降方法朝着损失值降低的方向调整模型参数,直至模型收敛,得到目标缺陷检测模型。

4.根据权利要求1所述的方法,其特征在于,所述产品缺陷检测任务还携带待测产品对应的图片存储位置信息,所述利用所述目标缺陷检测模型对所述目标产品相关信息所对应的待测图片进行缺陷检测,得到所述待测图片对应的待测产品的目标缺陷类别包括:根据所述图片存储位置信息从产品图片存储节点中获取对应的目标图片,作为所述产品缺陷检测任务对应的待测产品的图片,所述产品图片存储节点用于存储对所述待测产品进行拍摄得到的图片;

将所述目标图片输入到所述目标产品相关信息对应的目标缺陷检测模型中,得到待测产品的目标缺陷类别。

5.根据权利要求1所述的方法,其特征在于,所述根据所述训练样本进行模型训练,生成目标缺陷检测模型包括:

获取各个所述训练图片对应的存在缺陷的区域,作为候选区域,所述候选区域是根据所述训练图片对应的缺陷类别的图片特征,从所述训练图片中筛选得到的;

根据各个所述训练图片对应的候选区域以及对应的缺陷类别进行模型训练,生成目标缺陷检测模型。

6.根据权利要求5所述的方法,其特征在于,所述获取各个所述训练图片对应的存在缺陷的区域,作为候选区域包括:

将所述训练图片对应的缺陷类别的图片特征与所述训练图片的各个图像区域进行相似度计算,将相似度大于预设相似度的图像区域作为所述候选区域。

7.根据权利要求1所述的方法,其特征在于,所述利用所述目标缺陷检测模型对所述目标产品相关信息所对应的待测图片进行缺陷检测,得到所述待测图片对应的待测产品的目标缺陷类别包括:

将所述产品缺陷检测任务对应的待测图片输入到所述目标产品相关信息对应的目标缺陷检测模型中,所述目标缺陷检测模型输出各个候选缺陷类别对应的概率,将概率最大的候选缺陷类别作为目标缺陷类别。

8.一种产品缺陷检测数据处理系统,所述系统包括:模型训练节点,在生产终端显示的参数配置界面配置模型训练参数,所述模型训练参数包括缺陷学习类别和训练图片存储路径;所述参数配置界面显示候选的缺陷学习类别、缺陷学习类别增加控件以及训练图片路径输入控件,以使得所述生产终端通过选择操作选择候选的缺陷学习类别,或者对所述缺陷学习类别增加控件的操作增加新的缺陷学习类别的至少一种确定模型训练参数中的缺陷学习类别,通过对所述训练图片路径输入控件的操作确定所述模型训练参数中的训练图片存储路径;接收所述生产终端发送的产品缺陷检测模型生成请求,所述产品缺陷检测模型生成请求携带所述模型训练参数以及模型对应的产品相关信息,根据所述模型训练参数中的训练图片存储路径获取对应的训练图片以及获取所述训练图片对应的缺陷类别,得到训练样本,根据所述训练样本进行模型训练,生成目标缺陷检测模型,根据所述模型对应的产品相关信息建立所述目标缺陷检测模型与产品相关信息的对应关系;所述产品相关信息包括产品对应的制程信息、类别信息或者生产环境信息中的至少一种;

产品缺陷检测节点,接收产品缺陷检测任务,所述产品缺陷检测任务携带目标产品相关信息以及待测产品的产品标识;所述目标产品相关信息为所述产品缺陷检测任务对应的产品的产品相关信息;根据产品缺陷检测任务获取所述目标产品相关信息所对应的待测图片;根据所述对应关系,确定所述目标产品相关信息对应的目标缺陷检测模型;将所述产品缺陷检测任务对应的待测图片输入到所述目标产品相关信息对应的目标缺陷检测模型中,得到所述待测图片对应的待测产品的目标缺陷类别;其中,所述待测产品为多个;

服务节点,获取所述待测产品的目标缺陷类别对应的处理方式,根据所述目标缺陷类别对应的处理方式对所述待测产品的产品标识进行分类,得到各个所述处理方式对应的产品标识集合,向生产终端输出各个所述处理方式对应的产品标识集合,所述处理方式为对产品进行处理的方式,所述产品标识根据产品的生产顺序以及排放位置生成。

9.根据权利要求8所述的系统,其特征在于,所述根据所述训练样本进行模型训练,生成目标缺陷检测模型包括:

将所述训练样本中的训练图片输入到模型中,得到模型预测的缺陷类别;

根据模型预测的缺陷类别与训练图片实际的缺陷类别的差异计算得到损失值,利用梯度下降方法朝着损失值降低的方向调整模型参数,直至模型收敛,得到目标缺陷检测模型。

10.根据权利要求8所述的系统,其特征在于,所述根据所述训练样本进行模型训练,生成目标缺陷检测模型包括:

获取各个所述训练图片对应的存在缺陷的区域,作为候选区域,所述候选区域是根据所述训练图片对应的缺陷类别的图片特征,从所述训练图片中筛选得到的;

根据各个所述训练图片对应的候选区域以及对应的缺陷类别进行模型训练,生成目标缺陷检测模型。

11.根据权利要求10所述的系统,其特征在于,所述获取各个所述训练图片对应的存在缺陷的区域,作为候选区域包括:

将所述训练图片对应的缺陷类别的图片特征与所述训练图片的各个图像区域进行相似度计算,将相似度大于预设相似度的图像区域作为所述候选区域。

12.一种产品缺陷检测数据处理装置,所述装置包括:生成请求接收模块,用于接收生产终端发送的产品缺陷检测模型生成请求,所述产品缺陷检测模型生成请求携带模型训练参数以及模型对应的产品相关信息;所述产品相关信息包括产品对应的制程信息、类别信息或者生产环境信息中的至少一种;所述模型训练参数在生产终端显示的参数配置界面上配置,所述模型训练参数包括缺陷学习类别和训练图片存储路径;所述参数配置界面显示候选的缺陷学习类别、缺陷学习类别增加控件以及训练图片路径输入控件,以使得所述生产终端通过选择操作选择候选的缺陷学习类别,或者对所述缺陷学习类别增加控件的操作增加新的缺陷学习类别的至少一种确定模型训练参数中的缺陷学习类别,通过对所述训练图片路径输入控件的操作确定所述模型训练参数中的训练图片存储路径;

训练样本得到模块,用于根据所述模型训练参数中的训练图片存储路径获取对应的训练图片以及获取所述训练图片对应的缺陷类别,得到训练样本;

模型训练模块,用于根据所述训练样本进行模型训练,生成目标缺陷检测模型;

对应关系建立模块,用于根据所述模型对应的产品相关信息建立所述目标缺陷检测模型与产品相关信息的对应关系;

检测任务接收模块,用于接收产品缺陷检测任务,所述产品缺陷检测任务携带目标产品相关信息以及待测产品的产品标识;所述目标产品相关信息为所述产品缺陷检测任务对应的产品的产品相关信息;

目标缺陷检测模型确定模块,用于根据所述目标缺陷检测模型与产品相关信息的对应关系,确定所述目标产品相关信息对应的目标缺陷检测模型;

目标缺陷类别得到模块,用于将所述产品缺陷检测任务对应的待测图片输入到所述目标产品相关信息对应的目标缺陷检测模型中,得到所述待测图片对应的待测产品的目标缺陷类别;其中,所述待测产品为多个;

处理方式确定模块,用于获取所述待测产品的目标缺陷类别对应的处理方式,根据所述目标缺陷类别对应的处理方式对所述待测产品的产品标识进行分类,得到各个所述处理方式对应的产品标识集合,向生产终端输出各个所述处理方式对应的产品标识集合,所述处理方式为对产品进行处理的方式,所述产品标识根据产品的生产顺序以及排放位置生成。

13.根据权利要求12所述的装置,其特征在于,所述训练样本得到模块用于:获取所述缺陷学习类别对应的训练图片以及各个所述训练图片分别对应的缺陷类别,得到训练样本;其中,所述目标缺陷检测模型将所述缺陷学习类别作为候选缺陷类别,根据所述待测图片从所述候选缺陷类别中筛选得到所述待测产品的目标缺陷类别。

14.根据权利要求12所述的装置,其特征在于,所述模型训练模块用于:将所述训练样本中的训练图片输入到模型中,得到模型预测的缺陷类别;

根据模型预测的缺陷类别与训练图片实际的缺陷类别的差异计算得到损失值,利用梯度下降方法朝着损失值降低的方向调整模型参数,直至模型收敛,得到目标缺陷检测模型。

15.根据权利要求12所述的装置,其特征在于,所述产品缺陷检测任务还携带待测产品对应的图片存储位置信息,所述目标缺陷类别得到模块用于:根据所述图片存储位置信息从产品图片存储节点中获取对应的目标图片,作为所述产品缺陷检测任务对应的待测产品的图片,所述产品图片存储节点用于存储对所述待测产品进行拍摄得到的图片;

将所述目标图片输入到所述目标产品相关信息对应的目标缺陷检测模型中,得到目标缺陷类别。

16.根据权利要求12所述的装置,其特征在于,所述模型训练模块用于:获取各个所述训练图片对应的存在缺陷的区域,作为候选区域,所述候选区域是根据所述训练图片对应的缺陷类别的图片特征,从所述训练图片中筛选得到的;

根据各个所述训练图片对应的候选区域以及对应的缺陷类别进行模型训练,生成目标缺陷检测模型。

17.根据权利要求16所述的装置,其特征在于,所述模型训练模块用于:将所述训练图片对应的缺陷类别的图片特征与所述训练图片的各个图像区域进行相似度计算,将相似度大于预设相似度的图像区域作为所述候选区域。

18.根据权利要求12所述的装置,其特征在于,所述目标缺陷类别得到模块用于:将所述产品缺陷检测任务对应的待测图片输入到所述目标产品相关信息对应的目标缺陷检测模型中,所述目标缺陷检测模型输出各个候选缺陷类别对应的概率,将概率最大的候选缺陷类别作为目标缺陷类别。

19.一种计算机设备,其特征在于,包括存储器和处理器,所述存储器中存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行权利要求1至7中任一项所述的产品缺陷检测数据处理方法的步骤。

20.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时,使得所述处理器执行权利要求1至7中任一项所述的产品缺陷检测数据处理方法的步骤。

说明书 :

产品缺陷检测数据处理方法、装置、系统和设备

技术领域

[0001] 本申请涉及产品检测领域,特别是涉及产品缺陷检测数据处理方法、装置、系统和设备。

背景技术

[0002] 产品质量是制造业最为重视的生产指标之一,为了保证产品质量,在产品生产过程中对产品进行缺陷检测成为不可或缺的工序。例如,在摄像头生产车间,需要将生产过程
中产生的有缺陷的摄像头挑选出来,避免有缺陷的摄像头直接流入到下一工序中。
[0003] 目前,在对产品进行缺陷检测时,依赖于技术工人进行肉眼识别,人工识别存在个人对缺陷检测标准的理解差异和疲劳等因素,导致缺陷识别效率低。

发明内容

[0004] 基于此,有必要针对上述缺陷识别效率低的问题,提供一种产品缺陷检测数据处理方法、装置、系统和设备。
[0005] 一方面,提供了一种产品缺陷检测数据处理方法,所述方法包括:接收产品缺陷检测模型生成请求,所述产品缺陷检测模型生成请求携带模型训练参数,所述模型训练参数
根据用户的参数配置操作确定,所述模型训练参数包括缺陷学习类别或者训练图片信息中
的至少一种;根据所述模型训练参数获取对应的训练图片以及获取所述训练图片对应的缺
陷类别,得到训练样本;根据所述训练样本进行模型训练,生成目标缺陷检测模型,所述目
标缺陷检测模型用于根据待测产品对应的待测图片对所述待测产品进行缺陷检测,得到所
述待测产品的缺陷检测结果。
[0006] 一方面,提供了一种产品缺陷检测数据处理系统,所述系统包括:模型训练节点,接收产品缺陷检测模型生成请求,所述产品缺陷检测模型生成请求携带模型训练参数,根
据所述模型训练参数获取对应的训练图片以及获取所述训练图片对应的缺陷类别,得到训
练样本,根据所述训练样本进行模型训练,生成目标缺陷检测模型,所述模型训练参数根据
用户的参数配置操作确定,所述模型训练参数包括缺陷学习类别或者训练图片信息中的至
少一种;产品缺陷检测节点,根据产品缺陷检测任务获取待测产品对应的待测图片,将所述
待测图片到所述目标缺陷检测模型中,得到所述待测产品的缺陷检测结果。
[0007] 一方面,提供了一种产品缺陷检测数据处理装置,所述装置包括:生成请求接收模块,用于接收产品缺陷检测模型生成请求,所述产品缺陷检测模型生成请求携带模型训练
参数,所述模型训练参数根据用户的参数配置操作确定,所述模型训练参数包括缺陷学习
类别或者训练图片信息中的至少一种;训练样本得到模块,用于根据所述模型训练参数获
取对应的训练图片以及获取所述训练图片对应的缺陷类别,得到训练样本;模型训练模块,
用于根据所述训练样本进行模型训练,生成目标缺陷检测模型,所述目标缺陷检测模型用
于根据待测产品对应的待测图片对所述待测产品进行缺陷检测,得到所述待测产品的缺陷
检测结果。
[0008] 在一些实施例中,所述模型训练参数包括缺陷学习类别,所述训练样本得到模块用于:获取所述缺陷学习类别对应的训练图片以及各个所述训练图片分别对应的缺陷类
别,得到训练样本,其中,所述目标缺陷检测模型将所述缺陷学习类别作为候选缺陷类别,
根据所述待测图片从所述候选缺陷类别中筛选得到所述待测产品的目标缺陷类别。
[0009] 在一些实施例中,所述产品缺陷检测模型生成请求还携带模型对应的产品相关信息,所述装置还包括:对应关系建立模块,用于根据所述模型对应的产品相关信息建立所述
目标缺陷检测模型与产品相关信息的对应关系。
[0010] 在一些实施例中,所述装置还包括:检测任务接收模块,用于接收产品缺陷检测任务,所述产品缺陷检测任务携带目标产品相关信息;目标缺陷检测模型确定模块,用于根据
所述目标缺陷检测模型与产品相关信息的对应关系,确定所述目标产品相关信息对应的目
标缺陷检测模型;目标缺陷类别得到模块,用于将所述产品缺陷检测任务对应的待测图片
输入到所述目标产品相关信息对应的目标缺陷检测模型中,得到目标缺陷类别。
[0011] 在一些实施例中,所述模型对应的产品相关信息包括待测产品对应的制程信息、类别信息或者生产环境信息中的至少一种。
[0012] 在一些实施例中,所述产品缺陷检测任务还携带待测产品对应的图片存储位置信息,所述目标缺陷类别得到模块用于:根据所述图片存储位置信息从产品图片存储节点中
获取对应的目标图片,作为所述产品缺陷检测任务对应的待测产品的图片,所述产品图片
存储节点用于存储对所述待测产品进行拍摄得到的图片;将所述目标图片输入到所述目标
产品相关信息对应的目标缺陷检测模型中,得到目标缺陷类别。
[0013] 在一些实施例中,所述模型训练模块用于:获取各个所述训练图片对应的存在缺陷的区域,作为候选区域,所述候选区域是根据所述训练图片对应的缺陷类别的图片特征,
从所述训练图片中筛选得到的;根据各个所述训练图片对应的候选区域以及对应的缺陷类
别进行模型训练,生成目标缺陷检测模型。
[0014] 在一些实施例中,所述待测产品为多个,所述缺陷检测结果包括所述待测产品的目标缺陷类别,所述装置还包括:处理方式确定模块,用于获取所述待测产品的目标缺陷类
别对应的处理方式,根据所述目标缺陷类别对应的处理方式对所述待测产品的产品标识进
行分类,得到各个处理方式对应的产品标识集合,向生产终端输出各个处理方式对应的产
品标识集合。
[0015] 在一些实施例中,所述生成请求接收模块用于:接收用户对应的生产终端发送的产品缺陷检测模型生成请求,所述模型训练参数为用户在所述生产终端显示的参数配置界
面中配置的。
[0016] 一方面,提供了一种计算机设备,包括存储器和处理器,所述存储器中存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行上述产品缺陷检测数
据处理方法的步骤。
[0017] 一方面,提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时,使得所述处理器执行上述产品缺陷检测数据
处理方法的步骤。
[0018] 上述产品缺陷检测数据处理方法、装置、系统和设备,可以进行模型训练得到产品缺陷检测模型,基于产品缺陷检测模型对产品的缺陷进行检测,因此效率高。而且,模型训
练参数是产品缺陷检测模型生成请求携带的,根据用户的参数配置操作确定,包括缺陷学
习类别或者训练图片信息中的至少一种,因此用户可以根据实际的产品缺陷检测需要配置
训练参数,使得模型训练得到的产品缺陷检测模型满足生产需要且能够对产品的缺陷进行
自动检测,灵活性高且检测效率高。

附图说明

[0019] 图1为一些实施例中提供的产品缺陷检测数据处理方法的应用环境图;
[0020] 图2A为一些实施例中产品缺陷检测数据处理方法的流程图;
[0021] 图2B为一些实施例中参数配置界面的示意图;
[0022] 图3为一些实施例中配置产品相关信息的界面的示意图;
[0023] 图4为一些实施例中产品缺陷检测数据处理方法的流程图;
[0024] 图5为一些实施例中模型评估界面的示意图;
[0025] 图6为一些实施例中产品缺陷检测数据处理系统的结构框图;
[0026] 图7为一些实施例中产品缺陷检测数据处理系统的架构图;
[0027] 图8为一些实施例中服务系统对应的应用界面的示意图;
[0028] 图9为一些实施例中模型训练的产品模块图;
[0029] 图10为一些实施例中概览页的示意图;
[0030] 图11为一些实施例中进行缺陷检测以及模型训练的流程图;
[0031] 图12为一些实施例中产品缺陷检测系统对应的系统架构图;
[0032] 图13为一些实施例中产品缺陷检测系统对应的部署架构图;
[0033] 图14为一些实施例中产品缺陷检测数据处理装置的结构框图;
[0034] 图15为一些实施例中计算机设备的内部结构框图。

具体实施方式

[0035] 为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本申请,并
不用于限定本申请。
[0036] 以下对本申请实施例的产品缺陷检测数据处理方法涉及的技术进行解释。
[0037] 人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理
论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术,它企图了解
智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能
也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。
[0038] 人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、
大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机
视觉技术以及机器学习/深度学习等几大方向。
[0039] 计算机视觉技术(Computer Vision,CV)计算机视觉是一门研究如何使机器“看”的科学,更进一步的说,就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机
器视觉,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的图像。
作为一个科学学科,计算机视觉研究相关的理论和技术,试图建立能够从图像或者多维数
据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别等技术。本申
请实施例提供的方法,利用计算机视觉技术,对待测图片进行缺陷检测,因此可以确定待测
产品存在的缺陷。
[0040] 机器学习(Machine Learning,ML)是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习
行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。机器学
习是人工智能的核心,是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。
机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式
教学习等技术。
[0041] 本申请实施例提供的方案涉及基于人工智能以及计算机视觉对产品缺陷进行检测,具体通过如下实施例进行说明。
[0042] 本申请实施例提供的方案还可以涉及区块链相关技术,例如可以将待测产品的缺陷检测结果存储到区块链中,也可以由区块链节点执行缺陷检测。通过将待测产品的缺陷
检测结果存储到区块链的数据区块中,可以保障缺陷检测结果的安全性和可靠性,而且由
于区块链的不可篡改性,可以避免他人为了利益,篡改产品缺陷检测结果,进而保障了查询
得到的产品缺陷检测结果的真实性。
[0043] 在一些实施例中,将待测产品的缺陷检测结果存储到区块链时,区块链节点可以生成产品缺陷检测结果对应的结果查询码,结果查询码可以是对产品缺陷检测结果进行哈
希得到的,这样可以保证结果查询码的唯一性。当区块链节点接收到携带结果查询码的缺
陷检测结果查询请求时,可根据结果查询码从数据区块中获取对应的产品缺陷检测结果,
并返回到查询端。
[0044] 区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain),本质上是一个去中心化的数据库,是一串使用密码学方法
相关联产生的数据块,每一个数据块中包含了一批次网络交易的信息,用于验证其信息的
有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及
应用服务层。
[0045] 区块链底层平台可以包括用户管理、基础服务、智能合约以及运营监控等处理模块。其中,用户管理模块负责所有区块链参与者的身份信息管理,包括维护公私钥生成(账
户管理)、密钥管理以及用户真实身份和区块链地址对应关系维护(权限管理)等,并且在授
权的情况下,监管和审计某些真实身份的交易情况,提供风险控制的规则配置(风控审计);
基础服务模块部署在所有区块链节点设备上,用来验证业务请求的有效性,并对有效请求
完成共识后记录到存储上。其中业务请求可以是产品缺陷检测结果存储请求,对于一个新
的业务请求,基础服务先对接口适配解析和鉴权处理(接口适配),然后通过共识算法将业
务信息加密(共识管理),在加密之后完整一致的传输至共享账本上(网络通信),并进行记
录存储;智能合约模块负责合约的注册发行以及合约触发和合约执行,开发人员可以通过
某种编程语言定义合约逻辑,发布到区块链上(合约注册),根据合约条款的逻辑,调用密钥
或者其它的事件触发执行,完成合约逻辑,同时还提供对合约升级注销的功能;运营监控模
块主要负责产品发布过程中的部署、配置的修改、合约设置、云适配以及产品运行中的实时
状态的可视化输出,例如:告警、监控网络情况、监控节点设备健康状态等。
[0046] 平台产品服务层提供典型应用的基本能力和实现框架,开发人员可以基于这些基本能力,叠加业务的特性,完成业务逻辑的区块链实现。应用服务层提供基于区块链方案的
应用服务给业务参与方进行使用。
[0047] 图1为一些实施例中提供的产品缺陷检测数据处理方法的应用环境图,如图1所示,在该应用环境中,包括服务节点110、产品缺陷检测节点120、模型训练节点130以及生产
企业对应的设备140。生产企业对应的设备140可以是MES(Manufacturing Execution 
System,制造执行系统)中的设备。生产企业对应的设备140可以称为生产终端,例如可以是
工厂中的管理人员的电脑,电脑中可以安装相应的生产管理应用程序,也可以是用于生产
产品的制造设备。产品缺陷检测数据处理系统可以包括服务节点110、产品缺陷检测节点
120以及模型训练节点130。服务节点110用于与生产企业对应的设备110进行通信,提供产
品缺陷检测服务。例如向生产企业对应的设备140发送缺陷检测结果,接收生产企业对应的
设备140发送的产品缺陷检测模型生成请求,根据产品缺陷检测模型生成请求控制模型训
练节点130进行模型训练。模型训练节点130用于进行模型训练,得到目标缺陷检测模型,产
品缺陷检测节点120上部署有目标缺陷检测模型,用于根据待测产品的图片进行缺陷检测,
得到产品所存在的缺陷。
[0048] 服务节点110、产品缺陷检测节点120或者模型训练节点130等节点可以是独立的服务器,也可以是是多个物理服务器构成的服务器集群,可以是提供云服务器、云数据库、
云存储和CDN等基础云计算服务的云服务器。
[0049] 各个节点之间可以通过网络等通讯连接方式进行连接,本申请在此不做限制。生产企业对应的设备140可以通过网络与服务节点110进行连接。当然,生产企业对应的设备
140也可以与产品缺陷检测节点120进行连接,也可以与模型训练节点130连接。
[0050] 可以理解,上述应用环境仅是一种示例,并不构成对本申请中产品缺陷检测数据处理系统的限制,例如产品缺陷检测数据处理系统还可以包括图片标注系统以及图片存储
系统。产品缺陷检测数据处理系统中还可以不包括服务节点。而是由产品缺陷检测节点120
与生产企业对应的设备140进行交互。
[0051] 如图2A所示,在一些实施例中,提出了一种产品缺陷检测数据处理方法,本实施例主要以该方法应用于上述图1中的产品缺陷检测数据处理系统来举例说明。当然也可以是
由其中的部分节点执行所有的步骤,例如,由模型训练节点130执行,具体可以包括以下步
骤:
[0052] 步骤S202,接收产品缺陷检测模型生成请求,产品缺陷检测模型生成请求携带模型训练参数,模型训练参数根据用户的参数配置操作确定,模型训练参数包括缺陷学习类
别或者训练图片信息中的至少一种。
[0053] 具体地,产品缺陷检测模型生成请求用于请求生成产品缺陷检测模型。产品缺陷检测模型生成请求可以是生产终端发送的,生产终端是生产用户对应的终端。生产用户是
指生产产品的工厂对应的用户。例如工厂中的研发工程师或者工艺工程师。生产用户可以
通过账号以及密码在生产终端上登录产品缺陷检测数据处理系统。模型训练参数是指与模
型训练相关的参数。可以包括缺陷学习类别或者训练图片信息中的至少一种,还可以包括
模型的类型、模型中隐层的层数、模型的准确率要求、对模型进行性能评估的测试集信息或
者模型训练时所需要配置的计算机资源等中的至少一个。模型的类型例如可以是CNN
(Convolutional Neural Networks,卷积神经网络)。模型对应的缺陷学习类别是指模型所
要学习的缺陷类别。缺陷学习类别的个数可以根据需要设置,例如1个或者多个。多个是指
两个以上,两个以上包括两个。产品缺陷检测模型为分类模型。分类模型可以是二分类,则
分类结果可以是包括缺陷或者不包括缺陷。分类模型也可以是三分类以上。例如对于三分
类,分类结果可以为不存在缺陷,存在A缺陷以及存在B缺陷三种。A缺陷以及B缺陷是产品缺
陷检测模型生成请求中携带的。训练图片信息用于确定训练图片。例如产品缺陷检测模型
生成请求可以携带训练图片、训练图片的标识或者训练图片的存储位置中的至少一种。
[0054] 模型训练参数根据用户的参数配置操作确定,配置操作可以是选择操作或者增加操作的至少一种,选择操作是指从候选参数中选择目标参数,增加操作是指增加新的参数。
例如,可以是从界面上显示的缺陷学习类别中选择类别,可以是增加新的缺陷学习类别。参
数配置操作可以是屏幕触摸操作、手势操作、语音操作或者鼠标输入操作中的一种或多种。
产品缺陷检测模型生成请求可以是用户对应的生产终端发送的。用户可以在生产终端中显
示的参数配置界面配置模型训练参数。例如生产终端上可以安装有生产管理应用程序。生
产终端可以显示参数配置界面。用户可以根据需要在参数配置界面配置模型训练参数。由
于产品生产过程中,生产时间、站点或者工艺参数中的任意一个或者多个不同都可能会导
致产品的缺陷不同。或者是不同产品,对应的缺陷检测标准也可能不同。而不同的缺陷检测
标准,则获取的训练图片是不同的。例如,如果缺陷检测标准高,则对训练图片的缺陷进行
标注时,也需要执行严格的标注标准。如果产品的缺陷不同,则模型所要学习的缺陷类别也
不同。通过参数配置界面,可以根据生产业务场景灵活配置模型训练参数。例如根据待测产
品对应的缺陷配置缺陷学习类别。根据产品缺陷检测标准配置训练图片,训练图片的缺陷
标注标准根据产品检测标注确定。训练图片可以预先存储到系统中,系统中可以配置不同
的产品缺陷检测标准对应的训练图片。或者是由用户根据产品缺陷检测标准选择对应的训
练图片。
[0055] 如图2B所示,为参数配置界面的示意图,生产用户可以根据需要选择缺陷学习类别以及输入训练图片存储路径,还可以添加新的缺陷。点击“浏览”按键,可以进入从服务器
或者本地存储的图片中选取图片的界面。当参数配置完毕后,可以点击“提交模型生成请
求”,以发送产品缺陷检测模型生成请求。
[0056] 在一些实施例中,产品缺陷检测模型生成请求还可以包括其他的信息,例如模型的名称。
[0057] 步骤S204,根据模型训练参数获取对应的训练图片以及获取训练图片对应的缺陷类别,得到训练样本。
[0058] 具体地,训练样本用于进行模型训练,包括训练图片以及对应的标签,标签为对应的缺陷类别。训练样本可以有多个,例如1万个。当模型训练参数包括缺陷学习类别时,可以
获取各个缺陷学习类别分别对应的图片,作为训练图片,当然还可以获取不存在缺陷的图
片,作为负样本。当模型训练参数包括训练图片信息时,可以根据训练图片信息获取得到训
练图片。例如,模型训练参数中包括训练图片为存储在A文件夹的图片,且缺陷学习类别为H
以及B。则可以在A文件夹中获取缺陷类别为H的图片以及缺陷类别为B的图片,作为训练图
片。
[0059] 在一些实施例中,可以预先存储用于进行模型训练的样本图片,例如,可以获取生产过程中对产品拍摄得到的图片,由人工标注缺陷的类别或者是否含有缺陷。当标注完成
后,上传到系统中进程存储。当需要生成模型时,系统可以向生产终端返回选择训练图片的
选项信息,选项信息中包括图片的标识,例如图片的文件夹名称,用户根据选项信息选择图
片进行训练。
[0060] 步骤S206,根据训练样本进行模型训练,生成目标缺陷检测模型,目标缺陷检测模型用于根据待测产品对应的待测图片对待测产品进行缺陷检测,得到待测产品的缺陷检测
结果。
[0061] 具体地,目标缺陷检测模型是用于进行缺陷检测的模型。在进行模型训练时,采用的是有监督的训练方法。将训练样本中的训练图片输入到模型中,得到模型预测的缺陷类
别,根据模型预测的缺陷类别与训练图片实际的缺陷类别的差异计算得到损失值,利用梯
度下降方法朝着损失值降低的方向调整模型参数,直至模型收敛,得到目标检测模型。模型
收敛可以包括指模型的损失值小于预设值或者是训练次数达到预设次数中的至少一种。待
测产品的缺陷检测结果可以是产品是否包括缺陷。在一些实施例中可以包括缺陷的类别。
待测产品是指需要进行缺陷检测的产品。
[0062] 本实施例提供的产品缺陷检测数据处理方法,可以进行模型训练得到产品缺陷检测模型,基于产品缺陷检测模型对产品的缺陷进行检测,因此效率高。而且,模型训练参数
是产品缺陷检测模型生成请求携带的,根据用户的参数配置操作确定,包括缺陷学习类别
或者训练图片信息中的至少一种,因此用户可以根据实际的产品缺陷检测需要配置训练参
数,使得模型训练得到的产品缺陷检测模型满足生产需要且能够对产品的缺陷进行自动检
测,灵活性高且检测效率高。
[0063] 产品缺陷检测数据处理系统上配置了如何进行模型训练的方法,这样可以把复杂的模型训练过程简化,当接收到模型生成请求时,可以根据模型训练的方法进行模型训练,
因此,生产用户可以在不具备相关的机器学习专业知识的情况下,根据生产需要配置缺陷
学习类别或者训练图片信息中的至少一种,模型训练节点便可以根据模型训练参数,采用
配置的模型训练方法,根据训练图片自动的进行模型训练,生成缺陷检测模型,从而降低了
生产用户使用模型进行缺陷检测的门槛,提高了模型的生成效率。例如,产品缺陷检测数据
处理系统上可以配置有模型的结构、模型参数的初始值、计算损失值的函数、模型训练时根
据损失值调整模型参数的规则以及模型收敛条件。当得到训练图片时,训练图片自动输入
到模型中,得到预测缺陷,系统根据预测缺陷、实际缺陷以及损失值计算函数计算得到损失
值,根据损失值以及调整模型参数的规则调整模型参数。调整模型参数的规则可以包括模
型的参数每次调整的步长或者学习率中的至少一个。可以多次重复上述训练图片自动输入
到模型中,得到预测缺陷,系统根据预测缺陷以及实际缺陷,以及损失值计算函数计算得到
损失值,根据损失值以及调整模型参数的规则调整模型参数的步骤,直至模型收敛。因此配
置的模型训练方法相当于模型的模具,通过这个模具,输入不同的缺陷学习类别或者训练
图片信息中的至少一种,便可训练出适合不同业务场景(不同生产需求)的模型。
[0064] 在一些实施例中,系统可能已经包括缺陷检测模型,因此可以是在原有的缺陷检测模型上继续进行训练。也可以是从新训练模型,例如可以对模型中的隐层参数进行随机
设置,基于随机设置的隐层参数进行模型训练。参数配置界面还可以配置是继续训练已有
的模型还是重新训练模型。因此可以实现从无到有创建模型,也可以对已有的模型的参数
进行更新,即模型可以随着生产的变化,不断通过新的训练图片进行迭代升级。
[0065] 在一些实施例中,当系统已经部署有缺陷检测模型时,由于已经部署的缺陷检测模型也是根据图片进行训练得到的。因此可以在生产终端上展示历史图片以及新图片分别
对应的选项信息。用户可以选择历史图片以及新图片中的至少一种作为本次进行模型训练
的图片。历史图片是指训练已有的缺陷检测模型时所利用的训练图片。新图片是指历史图
片之外的图片,例如可以在历史图片之后,生产产品时产品进行拍摄得到的图片。当用户选
择历史图片和新图片进行训练时,则训练得到的模型既可以学习得到检测最新出现的缺陷
的参数,也可以保留对既往缺陷的检测能力。
[0066] 在一些实施例中,模型训练参数包括缺陷学习类别,根据模型训练参数获取对应的训练图片以及获取训练图片对应的缺陷类别,得到训练样本包括:获取缺陷学习类别对
应的训练图片以及各个训练图片分别对应的缺陷类别,得到训练样本,其中,目标缺陷检测
模型将缺陷学习类别作为候选缺陷类别,根据待测图片从候选缺陷类别中筛选出待测产品
的目标缺陷类别。
[0067] 具体地,当模型训练参数包括缺陷学习类别,则可以获取缺陷学习类别对应的训练图片以及该训练图片对应的缺陷类别。因此,得到的目标缺陷检测模型中缺陷学习类别
作为候选缺陷类别,当获取到对待测产品进行拍摄,得到的待测图片后,可以将待测图片输
入到目标缺陷检测模型中,目标缺陷检测模型可以输出各个候选缺陷类别对应的概率,将
概率最大的缺陷类别作为目标缺陷类别。
[0068] 在一些实施例中,产品缺陷检测模型生成请求还携带模型对应的产品相关信息,产品缺陷检测数据处理方法还包括:根据模型对应的产品相关信息建立目标缺陷检测模型
与产品相关信息的对应关系。
[0069] 具体地,产品相关信息是与产品相关的信息。例如产品的生产时间,产品的批号等信息。产品相关信息可以是产品信息配置界面上配置的。产品信息配置界面与模型参数配
置界面可以为同一界面,也可以是不同界面。不同的产品相关信息,对应的模型可能是不同
的,当产品缺陷检测模型生成请求还携带模型对应的产品相关信息,建立目标缺陷检测模
型与产品相关信息的对应关系。
[0070] 在一些实施例中,产品相关信息可以包括待测产品对应的制程信息、类别信息或者生产环境信息中的至少一种。制程信息表示产品当前对应的制造流程。一个产品,可能要
经过多个制造流程。例如,一个摄像头,包括镜座、芯片以及基板三个主要的零件。则生产流
程可以包括flip chip(倒装芯片)、倒装后进行加热以及安装镜座三个流程,产品当前可以
是在flip chip制程,需要对经过flip chip制程生产得到的产品进行缺陷检测。flip chip
是指倒装芯片,将芯片安装在基板中。类别信息表示产品的类别。产品可以根据需要进行分
类。例如,根据制造参数对产品进行分类。不同的制造参数对应不同的类别。也可以是根据
产品的功能进行分类。例如,对于液晶面板产品可以分为扭曲向列型面板以及广视角面板。
生产环境信息是与产品的生产环境有关的参数,例如所在的厂区、生产线信息等。还可以包
括温度、厂区洁净度或者湿度中的一种或多种信息。
[0071] 本申请实施例中,通过建立目标缺陷检测模型与产品相关信息的对应关系,因此可以区分不同的业务场景对应的缺陷检测模型。例如不同的产品类别,对应的缺陷或者模
型参数可能是不同的,如果均采用相同的模型进行缺陷检测,则缺陷准确度低。而工厂中,
所生产的产品种类一般为多个,对应的产品相关信息可能在不断进行变化,生产人员需要
根据所生产的产品灵活确定缺陷检测策略,因此对应的缺陷检测模型是不同的,通过建立
目标缺陷检测模型与产品相关信息的对应关系,可以有针对性的利用对应的检测模型对产
品图片进行缺陷检测。
[0072] 如图3所示,为一些实施例中配置产品相关信息的界面的示意图。图3中,站点表示产品所处的制造流程,厂区表示生产环境信息。不同的厂区代表不同的生产环境。如图3所
示,可以采用树状图的形式展示不同层级的产品相关信息的配置过程。鼠标悬浮到任一层
级,便可激活相应的操作流,即激活对该层级的产品相关信息的配置过程。图3中,厂区属于
第一层级,一个厂区可以有一个或多个厂别,即不同的工厂。不同的厂别可以有一个或多个
站点。不同站点还可以有一个或多个类别的产品。例如,图3中,T01表示厂区,b001以及b002
表示厂别。3051、3052、3053以及3054表示站点。CP001~CP005表示产品的类别。当点击站点
名称时,可以在该站点下添加产品、移除产品或者删除站点。如图3所示,生产终端上还可以
显示行业配置界面,用于配置产品对应的行业。还可以包括任务类型配置界面以及计算资
源配置界面。任务类型配置界面用于配置任务的类型,任务可以包括对图片进行分割、对图
片进行分类,以及对图片进行分类以及分割等类型。计算资源配置界面用于配置模型训练
时所使用的资源或者使用模型时所使用的资源,资源可以为GPU(Graphics Processing 
Unit,图形处理器)或者CPU(central processing unit,中央处理器)资源中的至少一个。
[0073] 在一些实施例中,如图4所示,产品缺陷检测数据处理方法还可以包括以下步骤:
[0074] 步骤S402,接收产品缺陷检测任务,产品缺陷检测任务携带目标产品相关信息。
[0075] 具体地,产品缺陷检测任务用于触发产品缺陷检测。目标产品相关信息是指该产品缺陷检测任务对应的产品的产品相关信息。目标产品相关信息可以包括待测产品对应的
制程信息、类别信息或者生产环境信息中的至少一种。产品缺陷检测任务可以是MES系统发
送的。
[0076] 在一些实施例中,产品缺陷检测任务中还可以携带待测产品的产品标识以及该产品标识对应的图片的图片标识。因此当得到根据图片得到检测结果时,可以根据图片标识
获取得到对应的产品标识,返回检测结果以及对应的产品标识。例如,可以携带液晶面板的
标识以及对应的图片标识。
[0077] 步骤S404,根据目标缺陷检测模型与产品相关信息的对应关系确定目标产品相关信息对应的目标缺陷检测模型。
[0078] 具体地,当接收到产品缺陷检测任务,可以根据目标缺陷检测模型与产品相关信息的对应关系,获取目标产品相关信息对应的目标缺陷检测模型。例如,系统上部署有多个
目标缺陷检测模型。模型1对应制程1,模型2对应制程2。则当产品相关信息包括制程2时,则
将模型2作为目标缺陷检测模型。
[0079] 在一些实施例中,缺陷检测任务是实时的,当制造设备开始生产,则通过制造设备上的拍摄设备拍摄图片,并存储到图片存储系统。MES系统向产品缺陷检测数据处理系统发
送消息,即发送缺陷检测任务。产品缺陷检测数据处理系统根据任务中携带的产品相关信
息确定对应的目标缺陷检测模型。
[0080] 步骤S406,将产品缺陷检测任务对应的待测图片输入到目标产品相关信息对应的目标缺陷检测模型中,得到目标缺陷类别。
[0081] 具体地,一个产品的待测图片可以有一张或多张。例如,对于液晶面板,由于液晶面板比较大,则可以拍摄多张图片,以对液晶面板进行全面的缺陷检测。产品缺陷检测任务
可以携带待测图片,也可以携带待测图片的存储位置信息。因此可以获取产品缺陷检测任
务对应的待测图片,将待测图片输入到目标产品相关信息对应的目标缺陷检测模型中,由
该模型对图片进行处理,得到目标缺陷类别,作为该图片对应的待测产品的缺陷类别。
[0082] 本申请实施例中,通过根据产品相关信息获取对应的目标缺陷检测模型,利用产品相关信息对应的目标缺陷检测模型进行模型检测,使得产品检测更具有针对性,实现精
细化检测。
[0083] 在一些实施例中,待测产品对应的图片存储位置信息,产品的图片可以是预先存储在图片存储系统中的。将产品缺陷检测任务对应的待测图片输入到目标产品相关信息对
应的目标缺陷检测模型中,得到目标缺陷类别包括:根据图片存储位置信息从产品图片存
储节点中获取对应的目标图片,作为产品缺陷检测任务对应的待测产品的图片,产品图片
存储节点用于存储对待测产品进行拍摄得到的图片;将目标图片输入到目标产品相关信息
对应的目标缺陷检测模型中,得到目标缺陷类别。
[0084] 具体地,图片存储位置信息用于表示图片所存储的位置,例如可以是图片的存储路径。对待测产品进行拍摄得到的图片是存储在图片存储系统中的。在对产品进行拍摄时,
可以是边拍摄边上传到图片存储系统中,当需要检测时,则触发产品缺陷检测任务,并携带
待测产品对应的图片存储位置信息。由于检测任务与图片的上传是分别进行的,图片存储
在图片存储节点中,检测任务中携带的是图片存储位置,因此可以减少检测任务的数据量。
得到图片存储位置信息对应的图片后,产品缺陷检测节点可以将该图片作为目标图片,将
该目标图片输入到目标产品相关信息对应的目标缺陷检测模型中,可以得到该图片对应的
产品所存在的缺陷类别,即目标缺陷类别。
[0085] 在一些实施例中,根据训练样本进行模型训练,生成目标缺陷检测模型包括:获取各个训练图片对应的存在缺陷的区域,作为候选区域,候选区域是根据训练图片对应的缺
陷类别的图片特征,从训练图片中筛选得到的;根据各个训练图片对应的候选区域以及对
应的缺陷类别进行模型训练,生成目标缺陷检测模型。
[0086] 具体地,候选区域是存在缺陷的区域,可以预先设置各个缺陷类别对应的图片特征,图片特征用于表示图片的特性,可以是图片本身,也可以是颜色特征或者纹理特征中的
至少一个。可以对候选图片进行分割,得到多个图像区域,基于缺陷类别的图片特征,与训
练图片中的各个图像区域进行相似度计算,将相似度大于预设相似度的区域作为候选区
域。例如可以是采用模板匹配的方法筛选得到候选区域。模板匹配是指对于模板图片和搜
索图片,在搜索图片中找到与模板图片相似的区域作为候选区域,相似可以是指相似度大
于预设相似度。本申请实施例中,搜索图片为训练图片,模板图片为缺陷类别对应的图片。
[0087] 训练图片对应的缺陷类别是已经确定的,例如是人工标注的。预先设定好了各个缺陷类别对应的图片特征。当得到候选区域后,将候选区域作为模型的输入,将对应的缺陷
类别作为模型期望的输出,进行模型训练,根据模型预测得到的输出以及模型期望的输出
的差异得到损失值,朝着损失值变小的方向调整模型参数,得到目标缺陷检测模型。
[0088] 本申请实施例中,在得到训练图片后,根据训练图片对应的缺陷类别的图片特征,从训练图片中筛选得到存在缺陷的候选区域,再利用候选区域进行模型训练,可以使得训
练得到的模型更加准确。因为一般而言,训练图片比较大,而缺陷比较小,除了缺陷外,训练
图片还包括没有缺陷的区域,故可以筛选更能反映缺陷的特征的候选区域,利用该候选区
域进行模型训练,从而能够学习到更准确的模型参数。而且,候选区域是由计算机设备自动
确定的,无需由人工标注缺陷在图片中的位置也可以训练得到准确的模型,减少了人力成
本。
[0089] 在一些实施例中,待测产品为多个,缺陷检测结果包括待测产品的目标缺陷类别,产品缺陷检测数据处理方法还可以包括以下步骤:获取待测产品的目标缺陷类别对应的处
理方式,根据待测产品的目标缺陷类别对应的处理方式对待测产品的产品标识进行分类,
得到各个处理方式对应的产品标识集合,向生产终端输出各个处理方式对应的产品标识集
合。
[0090] 具体地,产品标识用于对产品进行标识。可以是按照预设的规则生成产品标识。例如根据产品的生产顺序以及排放位置生成标识。不同的缺陷类别对应的处理方式是不同
的。有些缺陷类别的产品需要报废。有些缺陷则可以进行进一步优化,优化的方式也可以不
同,例如优化方式可以为补充胶水或者去除污垢。例如,如果缺陷为玻璃缺角,则该玻璃需
要报废处理。可以预先设置各个缺陷类别分别对应的处理方式。产品标识集合中可以包括
一个或多个产品对应的标识。对于每一种处理方式,可以对应一个产品标识集合。得到产品
标识集合后,输出各个处理方式对应的产品标识集合到生产终端,这样生产人员可以根据
产品标识确定到各个需要处理的产品以及对应的处理方式,根据对应的处理方式对该产品
进行处理,方便且高效。
[0091] 在一些实施例中,可以利用测试集对模型的性能进行评估,可以根据测试样本集对训练得到的中间缺陷检测模型进行测试,得到测试样本集中各个测试图片对应的预测缺
陷,根据预测缺陷以及测试图片对应的实际缺陷确定缺陷识别错误的测试图片,向发送产
品缺陷检测模型生成请求的生产终端输出缺陷识别错误的测试图片对应的预测缺陷以及
实际缺陷。使得生产终端上可以显示缺陷识别错误的测试图片对应的预测缺陷以及实际缺
陷。这样,用户可以根据缺陷识别错误的测试图片对应的预测缺陷以及实际缺陷,确定测试
集中的图片是否标注错误,使得生产人员可以参考标注情况调整标注标准,缺陷识别错误
的测试图片可以是指人工标注与模型输出不一致的图片。
[0092] 在一些实施例中,可以输出标注错误的图片,使得生产人员重新进行图片的标注,利用重新标注后的图片重新进行模型训练。
[0093] 在一些实施例中,还可以输出利用测试集对模型进行性能评估后,得到的性能评估结果,例如模型对应的准确率以及召回率。生产终端可以显示模型对应的准确率以及召
回率。使得生产人员可以知晓模型训练的状况。例如,如图5所示,生产终端中可以显示模型
的性能评估结果。可以是各个序列对应的性能评估结果,一个序列可以是指一个缺陷类别
对应的训练图片。当点击序列时,可以显示该序列对应的样本信息。例如误判样本的信息,
误判样本是指缺陷识别错误的样本,真实类别是指该图片真实的缺陷的类别,推测类别是
指模型输出的类别。训练图片的分辨率可以是600*400。
[0094] 在一些实施例中,以下以产品为液晶面板为例,对本申请提供的方法进行说明,包括以下步骤:
[0095] 1、上传训练图片以及对应的缺陷类别。
[0096] 例如,在液晶面板的生产过程中,如果生产人员发现液晶面板出现了新的缺陷(以下称为X缺陷),需要对X缺陷进行检测时,则可以获取存在X缺陷的液晶面板的图片,并对该
图片的缺陷进行标注,将该图片对应的缺陷类别标注为X。然后将标注了缺陷类别的图片上
传到训练图片存储系统。
[0097] 2、接收产品缺陷检测模型生成请求,产品缺陷检测模型生成请求携带模型训练参数,模型训练参数根据用户的参数配置操作确定,模型训练参数包括缺陷学习类别或者训
练图片信息中的至少一种。
[0098] 例如,生产用户可以在参数界面上添加H为新的缺陷学习类别以及选择图片的存储路径,向模型训练节点发送产品缺陷检测模型生成请求,模型训练参数包括训练图片的
存储路径以及要学习的缺陷类别为H缺陷以及B缺陷。
[0099] 在一些实施例中,产品缺陷检测模型生成请求还包括产品相关信息,例如假设H缺陷以及B缺陷是在D工厂E站点产生的,则产品相关信息包括D工厂E站点的标识,例如名称。
[0100] 3、根据模型训练参数获取对应的训练图片以及获取训练图片对应的缺陷类别,得到训练样本。
[0101] 例如,可以根据存储路径获取H缺陷对应的训练图片以及B缺陷的训练图片。当然还可以获取不存在缺陷的图片,作为训练图片。
[0102] 4、根据训练样本进行模型训练,生成目标缺陷检测模型。
[0103] 例如,目标缺陷检测模型为用于对液晶面板的H缺陷以及B缺陷进行缺陷检测的模型。
[0104] 5、建立目标缺陷检测模型与产品相关信息的对应关系。
[0105] 例如,目标缺陷检测模型与产品相关信息D工厂E站点对应。
[0106] 6、接收产品缺陷检测任务,产品缺陷检测任务携带目标产品相关信息、液晶面板的产品标识、待测图片的存储路径以及图片的标识。
[0107] 例如,当液晶面板在D工厂E站点中生产时,产品缺陷检测任务中携带D工厂E站点的名称。
[0108] 7、根据目标缺陷检测模型与产品相关信息的对应关系,确定目标产品相关信息对应的目标缺陷检测模型。
[0109] 例如,根据D工厂E站点的名称,获取D工厂E站点的对应的目标缺陷检测模型。
[0110] 8、将产品缺陷检测任务对应的待测图片输入到目标产品相关信息对应的目标缺陷检测模型中,得到目标缺陷类别。
[0111] 例如,可以根据待测图片的存储路径到该存储路径对应的位置,获取图片的标识对应的图片,将图片输入到目标产品相关信息对应的目标缺陷检测模型中,得到目标缺陷
类别。例如,可以得到图片1对应的缺陷类别为H缺陷,图片2对应的缺陷类别为B缺陷。
[0112] 9、获取待测产品的目标缺陷类别对应的处理方式,根据待测产品的目标缺陷类别对应的处理方式对待测产品的产品标识进行分类,得到各个处理方式对应的产品标识集
合,向生产终端输出各个处理方式对应的产品标识集合。
[0113] 具体地,假设H缺陷对应的处理方式为报废,B缺陷对应的处理方式为修补。则可以获取H缺陷对应的产品标识,组成H缺陷对应的产品标识集合。获取B缺陷对应的产品标识,
组成B缺陷对应的产品标识集合。
[0114] 本申请实施例的产品缺陷检测数据处理方法可以用于对工厂生产的产品进行缺陷检测。由于工厂中,产品的缺陷检测随着产品的时间、工艺参数、站点以及缺陷检测标准
的变化而变化,因此要求产品缺陷检测模型也能够根据要求随时进行更新或者生产新的模
型,本申请实施例提供的方法,可以将复杂的模型训练方法封装,与模型训练有关的缺陷学
习类别或者训练图片信息中的至少一个则支持用户根据需要进行灵活配置,因此工厂的人
员可以随时根据生产需求进行参数配置,实现快速从0到1和1到N的模型构建,得到满足需
求的产品缺陷检测模型,其中N是指模型的版本。
[0115] 在一些实施例中,如图6所示,提出了一种产品缺陷检测数据处理系统,包括模型训练节点130以及产品缺陷检测节点120。
[0116] 模型训练节点130,接收产品缺陷检测模型生成请求,产品缺陷检测模型生成请求携带模型训练参数,根据模型训练参数获取对应的训练图片以及获取训练图片对应的缺陷
类别,得到训练样本,根据训练样本进行模型训练,生成目标缺陷检测模型,模型训练参数
根据用户的参数配置操作确定,模型训练参数包括缺陷学习类别或者训练图片信息中的至
少一种,
[0117] 产品缺陷检测节点120,根据产品缺陷检测任务获取待测产品对应的待测图片,将待测图片到目标缺陷检测模型中,得到待测产品的缺陷检测结果。
[0118] 在一些实施例中,产品缺陷检测模型生成请求还携带模型对应的产品相关信息;模型训练节点130,根据模型对应的产品相关信息建立目标缺陷检测模型与产品相关信息
的对应关系,模型对应的产品相关信息包括待测产品对应的制程信息、类别信息、生产时间
或者生产环境信息中的至少一种。
[0119] 在一些实施例中,产品缺陷检测节点120,接收产品缺陷检测任务,产品缺陷检测任务携带目标产品相关信息,根据目标缺陷检测模型与产品相关信息的对应关系,确定目
标产品相关信息对应的目标缺陷检测模型,将产品缺陷检测任务对应的待测图片输入到目
标产品相关信息对应的目标缺陷检测模型中,得到目标缺陷类别。
[0120] 在一些实施例中,待测产品为多个,缺陷检测结果包括待测产品的目标缺陷类别,产品缺陷检测数据处理系统还包括服务节点110,获取待测产品的目标缺陷类别对应的处
理方式,根据待测产品的目标缺陷类别对应的处理方式对待测产品的产品标识进行分类,
得到各个处理方式对应的产品标识集合,向生产终端输出各个处理方式对应的产品标识集
合。
[0121] 在一些实施例中,产品缺陷检测数据处理系统还可以包括图片存储系统,用于存储在对产品进行拍摄得到的图片。图片存储系统可以包括训练图片存储系统以及待测图片
存储系统。训练图片存储系统用于存储训练所需要的测试图片和训练图片。待测图片存储
系统用于存储待测产品对应的图片。
[0122] 在一些实施例中,如图7所示,为一些实施例中产品缺陷检测数据处理系统的架构图,如图7所示,产品缺陷检测数据处理系统包括服务系统(对应图1的服务节点),产品缺陷
检测系统(对应图1的产品缺陷检测节点)、(对应图1的模型训练节点)、图片存储系统以及
图片标注系统。每个系统相互之间可以以微服务的方式进行解耦,以减少部署成本,提高系
统的可维护性。当然具体的架构并不局限于此,在实际的客户部署中可以进行调整,并且定
制化对应的功能。例如可以是包括产品缺陷检测系统和模型训练系统。各个系统之间可以
通过HTTP/TCP协议进行通信连接。微服务的基本思想在于考虑围绕着业务领域组件来创建
应用,这些应用可独立地进行开发、管理和加速。在分散的组件中使用微服务云架构和平
台,使部署、管理和服务功能交付变得更加简单。API(Application Programming 
Interface,应用程序编程接口)为预先定义的函数。告警处理可以是在当缺陷结果满足预
设条件时则进行告警,预设条件可以是缺陷产品数量大于预设值或者缺陷率大于预设缺陷
率。订阅推送可以向终端推送订阅的信息。自动不良分类可以根据处理方式进行分类。
[0123] 服务系统是一整套自动化缺陷检测系统,提供基于Web(网络)的管理和控制台界面,可以按工厂进行部署,可以承担工厂对应的缺陷检测任务的实时监听、调度、分配、MES
集成、设备运行数据以及检测结果分发等任务;服务系统可以通过FTP(File Transfer 
Protocol,文件传输协议)与工厂中的智能制造系统进行直接对接,以进行检测任务和消息
交换,实现人工智能模型与工厂端的信息系统的完美对接。服务系统还可以提供模型版本
管理、调用配置自定义缺陷计算规则、以及对AI推理系统的请求进行负载均衡的功能。缺陷
计算规则是指处理方式与缺陷所要满足的条件的对应关系。例如对于某一个缺陷,可以设
置当缺陷满足A条件则就要修补,满足B条件就要报废等。举个具体的例子,对应污垢,可以
是当污垢面积大于第一阈值时则需要报废,当污垢小于第二阈值时则可以进行清洗。由于
缺陷检测系统中可能包括多个设备,缺陷检测任务也可以包括多个业务,因此可以给对缺
陷检测系统的设备进行轮询,确定是否可以提供缺陷检测任务,以实现缺陷检测系统的负
载均衡。
[0124] 如图8所示,服务系统可以提供不同模型的管理,提供站点开单规则、处理方式确定规则配置,提供实时数据统计工具以及复判工具组件。处理方式确定规则配置用于确定
产品的处理方式。数据统计组件可以实时统计线上数据报表情况,实时查看利用AOI
(Automatic Optic Inspection,自动光学检测)进行拍摄得到的图片的不同类别缺陷占比
情况和模型的上线效果。其中,待测图片可以是AOI初步判断存在缺陷的产品对应的图片。
“开单建议管理”用于配置根据不同缺陷,确定是否需要开产品信息单给相关人员审阅的策
略文档。复判工具组件支持模型判完的图片进行二次人工核实复判,以确认模型的真实处
理效果。“账号权限”用于配置不同账号权限。自动光学检测设备是基于光学原理来对生产
制造过程中遇到的缺陷进行检测的设备。
[0125] 在一些实施例中,服务系统提供缺陷检测系统的数据大屏和监控系统等系统对应的任务的统计分析。数据大屏是将数据可视化。例如统计检测结果中各个缺陷类别的产品
数量,并按照预设规则进行展示。
[0126] 图片标注系统,可以提供图片标注服务,其中图片标注可以是半自动化的,可以由人工标注产品的缺陷类别,再由图片标注系统确定存在缺陷的候选区域。以根据候选区域
进行模型训练,这样可以大大减少人力标注成本和标注周期。图片标注系统还可以具备人
工审查功能,即可以将已标注的图片返回到终端中,以进行人工审查,用标注准确的图片进
行模型训练,确保训练图片的准确性和有效性。
[0127] 产品缺陷检测系统,是训练好的目标检测模型的部署平台,可以提供计算引擎、缺陷检测模型、计算接口调用、GPU资源管理等服务封装层。可以进行智能调节,实现负载均衡
以及服务高可用。
[0128] 产品缺陷检测系统是利用模型进行缺陷预测的平台,对应的平台可以包括服务配置管理模块和微服务管理模块两个部分。对于服务配置管理模块,可以在用于进行模型服
务配置的页面创建模型服务配置,通过将模型服务与所需计算资源(例如CPU和GPU资源)打
包,可以配置和定义可启动的模型服务单实例,启动该模型服务配置,可以完成模型服务的
部署。对于微服务管理模块,可在对应的页面查看服务运行情况。在启动服务的过程中,可
以根据业务需求采取手动或自动的方式调节服务的范围,从而达到对服务的精细化控制与
管理。
[0129] 模型训练系统,可以提供新模型训练、模型迭代提升、模型在线评估、题库测试以及模型镜像管理等功能,让用户可以根据新数据和历史数据创建新的缺陷检测模型,将判
断错误的图片标注后进行模型重训。模型镜像功能是指设置了模型训练的方法。可以根据
用户配置的模型训练参数,利用模型训练方法进行模型训练。
[0130] 模型训练系统对应的平台可以包括概览页显示、用户管理、主数据管理、数据集管理、模型镜像、模型库和在线评估七大模块,在登录前可以提供登录页,如图9所示。模型库
可以存储多个不同的模型。在线评估用于根据测试数据集评估模型的性能。可以用准确率
以及召回率表示。题库是指测试样本,模型对比可以通过对比不同模型的性能,从而选择最
优的模型。题库数据集是指测试数据集。因此模型训练系统集数据处理、模型训练、评估、预
测于一体,提供模型训练的全流程能力。其中概览对应的页面可以如图10所示,主数据模块
是用于对产品相关信息进行配置的模块,行业主数据指与行业有关的数据。
[0131] 上述产品缺陷检测数据处理系统对应的架构图,产品缺陷检测数据处理系统实时性和通用性好,可扩展性高,具备通用、行业、定制算法,可满足不同业务场景需求,通过模
型训练系统可持续提升模型精度,缺陷识别速度高、准确率好以及效率高。其中,目标缺陷
检测模型可以是深度学习神经网络模型,通过深度学习技术、并且结合图像处理技术,例如
图像分割技术。可以实现产品缺陷的自动检测,节省人力成本。而且可以减少半成品在生产
过程中等待时间,因此提升单位时间为产品产量。进一步地,由于检测准确度高,因此可以
提升各个流程的良率,从而提升总体最终良率。
[0132] 本申请实施例提供的系统可以应用于液晶面板、半导体、消费电子、汽车、新能源(光伏面板、动力电池等)等制造领域中。例如可以对手机屏幕进行缺陷检测。
[0133] 在一些实施例中,进行缺陷检测以及模型训练的流程图可以如图11所示。正方形中的框中的数字表示模型训练流程中的步骤,圆形中的框中的数字表示缺陷检测流程中的
步骤。由图11可以看出,MES系统可通消息总线与服务系统进行消息的交换,服务系统可对
消息进行解析,解析得到产品缺陷检测任务,通过http(HyperText Transfer Protocol,超
文本传输协议)请求的方式发送产品缺陷检测请求到产品缺陷检测系统,产品缺陷检测系
统从存储生产产品的产品图片存储系统中获取对应的图片进行缺陷检测,得到检测结果并
返回给服务系统。服务系统根据目标缺陷类别对应的处理方式(业务规则)对待测产品的产
品标识进行分类,得到各个处理方式对应的产品标识集合,向MES系统输出处理方式对应的
产品标识集合。其中,服务系统可以调度产品缺陷检测系统中的模型,产品缺陷检测系统可
以进行虚拟化处理,图片存储系统中存储有图片以及对应的描述文件。模型训练系统中可
以新建模型,也可以对模型进行迭代提升,可以对模型进行测试。
[0134] 在模型训练流程中,服务系统可以添加训练图片(训练数据集)到训练图片存储系统。还可以添加测试图片(测试数据集)到训练图片存储系统。其中,添加的测试数据集以及
训练数据集是用户通过生产终端进行配置的。图片标注系统可以输出图片到对应的终端,
由人工进行标注,得到图片的标签,即缺陷类型。然后再自动检测得到图片对应的存在缺陷
的区域,作为候选区域,从而实现半自动的标注,当然也可以输出标注了候选区域的训练图
片,由人工进行审查,以确定候选区域是存在缺陷的区域。模型训练节点根据产品缺陷检测
模型生成请求进行模型训练以及模型性能的评估,得到目标检测模型后,部署到产品缺陷
检测系统。
[0135] 如图12所示,为一些实施例中产品缺陷检测系统对应的系统架构图,产品缺陷检测系统是由多个设备组成的集群,负载均衡设备对接收到的产品缺陷检测请求(也称为推
理请求)进行负载均衡处理,推理服务节点用于提供产品缺陷检测服务,可以有多个推理服
务节点,一个推理服务节点可以提供多个推理服务,一个推理服务可以部署有一个产品缺
陷检测模型。管理终端对KE(Kubernetes Engine)控制台以及推理服务控制台进行管理,例
如设置相关的参数等。KE可以提供以容器为核心的、高度可扩展的高性能容器管理服务。推
理服务后台用于将任务下发到应用程序接口服务器(API Server),应用程序接口服务器具
有调度功能,可以调度对应的推理服务模型提供产品缺陷检测服务。API Server接收用户
通过发来的请求,按照路由规则分发。分布式存储系统可以是etcd存储系统,etcd是用于配
置共享和服务发现的键值存储系统。API Server可以与etcd系统进行交互。API Server可
以调用相应的插件或者组件。例如可以是kubelet、gpu(Graphics Processing Unit,图形
处理器)对应的插件或者docker等节点组件。kubernetes是一个分布式的集群管理系统,用
于对容器进行生命周期的管理。Docker是指应用容器引擎。数据库可以是MYSQL数据库。
MySQL是一个关系型数据库管理系统。
[0136] 如图13所示,为一些实施例中产品缺陷检测系统对应的部署架构图。产品缺陷检测系统可以包括服务提供节点、GPU管理节点、存储系统以及KE管理节点。KE管理节点可以
有多台。管理用户可以通过管理终端对服务提供节点进行管理,同时也可以通过服务提供
节点完成产品缺陷检测系统的参数的配置。服务提供节点可以对应多个MYSQL数据库,可以
对数据库进行容器化处理。其中生产用户对应的终端可以向产品缺陷检测系统发送产品缺
陷检测请求。KE(Kubernetes Engine)管理节点以及GPU管理节点可以有一台或者多台,具
体根据需要设置。可以利用存储系统进行数据的存储,存储系统可以是NAS(Network 
Attached Storage:网络附属存储)存储系统。服务提供节点与KE管理节点可以是同一个节
点。存储系统、KE管理节点以及GPU管理节点可以通过交换机进行交互。服务提供节点用于
提供产品缺陷检测服务,KE管理节点可以提供云容器管理服务。
[0137] 如图14所示,在一些实施例中,提供了一种产品缺陷检测数据处理装置,该产品缺陷检测数据处理装置可以集成于上述的产品缺陷检测数据处理系统中,具体可以包括生成
请求接收模块1402、训练样本得到模块1404以及模型训练模块1406。
[0138] 生成请求接收模块1402,用于接收产品缺陷检测模型生成请求,产品缺陷检测模型生成请求携带模型训练参数,模型训练参数根据用户的参数配置操作确定,模型训练参
数包括缺陷学习类别或者训练图片信息中的至少一种;
[0139] 训练样本得到模块1404,用于根据模型训练参数获取对应的训练图片以及获取训练图片对应的缺陷类别,得到训练样本;
[0140] 模型训练模块1406,用于根据训练样本进行模型训练,生成目标缺陷检测模型,目标缺陷检测模型用于根据待测产品对应的待测图片对待测产品进行缺陷检测,得到待测产
品的缺陷检测结果。
[0141] 在一些实施例中,模型训练参数包括缺陷学习类别,训练样本得到模块1404用于:获取缺陷学习类别对应的训练图片以及各个训练图片分别对应的缺陷类别,得到训练样
本,其中,目标缺陷检测模型将缺陷学习类别作为候选缺陷类别,根据待测图片从候选缺陷
类别中筛选得到待测产品的目标缺陷类别。
[0142] 在一些实施例中,产品缺陷检测模型生成请求还携带模型对应的产品相关信息,产品缺陷检测数据处理装置还包括:对应关系建立模块,用于根据模型对应的产品相关信
息建立目标缺陷检测模型与产品相关信息的对应关系。
[0143] 在一些实施例中,产品缺陷检测数据处理装置还包括:
[0144] 检测任务接收模块,用于接收产品缺陷检测任务,产品缺陷检测任务携带目标产品相关信息;
[0145] 目标缺陷检测模型确定模块,用于根据目标缺陷检测模型与产品相关信息的对应关系,确定目标产品相关信息对应的目标缺陷检测模型;
[0146] 目标缺陷类别得到模块,用于将产品缺陷检测任务对应的待测图片输入到目标产品相关信息对应的目标缺陷检测模型中,得到目标缺陷类别。
[0147] 在一些实施例中,模型对应的产品相关信息包括待测产品对应的制程信息、类别信息或者生产环境信息中的至少一种。
[0148] 在一些实施例中,产品缺陷检测任务还携带待测产品对应的图片存储位置信息,目标缺陷类别得到模块用于:根据图片存储位置信息从产品图片存储节点中获取对应的目
标图片,作为产品缺陷检测任务对应的待测产品的图片,产品图片存储节点用于存储对待
测产品进行拍摄得到的图片;将目标图片输入到目标产品相关信息对应的目标缺陷检测模
型中,得到目标缺陷类别。
[0149] 在一些实施例中,模型训练模块1406用于:
[0150] 获取各个训练图片对应的存在缺陷的区域,作为候选区域,候选区域是根据训练图片对应的缺陷类别的图片特征,从训练图片中筛选得到的;
[0151] 根据各个训练图片对应的候选区域以及对应的缺陷类别进行模型训练,生成目标缺陷检测模型。
[0152] 在一些实施例中,待测产品为多个,缺陷检测结果包括待测产品的目标缺陷类别,装置还包括:处理方式确定模块,用于获取待测产品的目标缺陷类别对应的处理方式,根据
目标缺陷类别对应的处理方式对待测产品的产品标识进行分类,得到各个处理方式对应的
产品标识集合,向生产终端输出各个处理方式对应的产品标识集合。
[0153] 在一些实施例中,生成请求接收模块1402用于:接收用户对应的生产终端发送的产品缺陷检测模型生成请求,模型训练参数为用户在生产终端显示的参数配置界面中配置
的。
[0154] 图15示出了一些实施例中计算机设备的内部结构图。该计算机设备具体可以是图1中的节点,例如模型训练节点130。如图15所示,该计算机设备包括通过系统总线连接的处
理器、存储器以及网络接口。其中,存储器包括非易失性存储介质和内存储器。该计算机设
备的非易失性存储介质存储有操作系统,还可存储有计算机程序,该计算机程序被处理器
执行时,可使得处理器实现产品缺陷检测数据处理方法。该内存储器中也可储存有计算机
程序,该计算机程序被处理器执行时,可使得处理器执行产品缺陷检测数据处理方法。
[0155] 本领域技术人员可以理解,图15中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设
备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
[0156] 在一些实施例中,本申请提供的产品缺陷检测数据处理装置可以实现为一种计算机程序的形式,计算机程序可在如图15所示的计算机设备上运行。计算机设备的存储器中
可存储组成该产品缺陷检测数据处理装置的各个程序模块,比如,图14所示的生成请求接
收模块1402、训练样本得到模块1404以及模型训练模块1406。各个程序模块构成的计算机
程序使得处理器执行本说明书中描述的本申请各个实施例的产品缺陷检测数据处理方法
中的步骤。
[0157] 例如,图14所示的计算机设备可以通过如图14所示的产品缺陷检测数据处理装置中的生成请求接收模块1402接收产品缺陷检测模型生成请求,产品缺陷检测模型生成请求
携带模型训练参数,模型训练参数根据用户的参数配置操作确定,模型训练参数包括缺陷
学习类别或者训练图片信息中的至少一种;通过训练样本得到模块1404根据模型训练参数
获取对应的训练图片以及获取训练图片对应的缺陷类别,得到训练样本;通过模型训练模
块1406根据训练样本进行模型训练,生成目标缺陷检测模型,目标缺陷检测模型用于根据
待测产品对应的待测图片对待测产品进行缺陷检测,得到待测产品的缺陷检测结果。
[0158] 在一些实施例中,提供了一种计算机设备,包括存储器和处理器,存储器存储有计算机程序,计算机程序被处理器执行时,使得处理器执行上述产品缺陷检测数据处理方法
的步骤。此处产品缺陷检测数据处理方法的步骤可以是上述各个实施例的产品缺陷检测数
据处理方法中的步骤。
[0159] 在一些实施例中,提供了一种计算机可读存储介质,存储有计算机程序,计算机程序被处理器执行时,使得处理器执行上述产品缺陷检测数据处理方法的步骤。此处产品缺
陷检测数据处理方法的步骤可以是上述各个实施例的产品缺陷检测数据处理方法中的步
骤。
[0160] 应该理解的是,虽然本申请各实施例的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,
这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,各实施例
中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是
在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不
必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流
或者交替地执行。
[0161] 本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,计算机程序可存储于一非易失性计算机可读取
存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请
所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非
易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、
电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取
存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态
RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM
(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直
接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
[0162] 以上所述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存
在矛盾,都应当认为是本说明书记载的范围。
[0163] 以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员
来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保
护范围。因此,本申请专利的保护范围应以所附权利要求为准。