产品缺陷检测数据处理方法、装置、系统和设备转让专利
申请号 : CN201910844469.6
文献号 : CN110554047B
文献日 : 2021-07-02
发明人 : 沈小勇 , 张文杰 , 刘刚
申请人 : 腾讯科技(深圳)有限公司
摘要 :
权利要求 :
1.一种产品缺陷检测数据处理方法,所述方法包括:在生产终端显示的参数配置界面配置模型训练参数,所述模型训练参数包括缺陷学习类别和训练图片存储路径;所述参数配置界面显示候选的缺陷学习类别、缺陷学习类别增加控件以及训练图片路径输入控件,以使得所述生产终端通过选择操作选择候选的缺陷学习类别,或者对所述缺陷学习类别增加控件的操作增加新的缺陷学习类别的至少一种确定模型训练参数中的缺陷学习类别,通过对所述训练图片路径输入控件的操作确定所述模型训练参数中的训练图片存储路径;
接收所述生产终端发送的产品缺陷检测模型生成请求,所述产品缺陷检测模型生成请求携带所述模型训练参数以及模型对应的产品相关信息;所述产品相关信息包括产品对应的制程信息、类别信息或者生产环境信息中的至少一种;
根据所述模型训练参数中的训练图片存储路径获取对应的训练图片以及获取所述训练图片对应的缺陷类别,得到训练样本;
根据所述训练样本进行模型训练,生成目标缺陷检测模型;
根据所述模型对应的产品相关信息建立所述目标缺陷检测模型与产品相关信息的对应关系;
接收产品缺陷检测任务,所述产品缺陷检测任务携带目标产品相关信息以及待测产品的产品标识;所述目标产品相关信息为所述产品缺陷检测任务对应的产品的产品相关信息;
根据所述对应关系,确定所述目标产品相关信息对应的目标缺陷检测模型,利用所述目标缺陷检测模型对所述目标产品相关信息所对应的待测图片进行缺陷检测,得到所述待测图片对应的待测产品的目标缺陷类别;其中,所述待测产品为多个;
获取所述待测产品的目标缺陷类别对应的处理方式,根据所述目标缺陷类别对应的处理方式对所述待测产品的产品标识进行分类,得到各个所述处理方式对应的产品标识集合,向生产终端输出各个所述处理方式对应的产品标识集合,所述处理方式为对产品进行处理的方式,所述产品标识根据产品的生产顺序以及排放位置生成。
2.根据权利要求1所述的方法,其特征在于,所述根据所述模型训练参数中的训练图片存储路径获取对应的训练图片以及获取所述训练图片对应的缺陷类别,得到训练样本包括:
获取所述缺陷学习类别对应的训练图片以及各个所述训练图片分别对应的缺陷类别,得到训练样本,其中,所述目标缺陷检测模型将所述缺陷学习类别作为候选缺陷类别,根据所述待测图片从所述候选缺陷类别中筛选得到所述待测产品的目标缺陷类别。
3.根据权利要求1所述的方法,其特征在于,所述根据所述训练样本进行模型训练,生成目标缺陷检测模型包括:
将所述训练样本中的训练图片输入到模型中,得到模型预测的缺陷类别;
根据模型预测的缺陷类别与训练图片实际的缺陷类别的差异计算得到损失值,利用梯度下降方法朝着损失值降低的方向调整模型参数,直至模型收敛,得到目标缺陷检测模型。
4.根据权利要求1所述的方法,其特征在于,所述产品缺陷检测任务还携带待测产品对应的图片存储位置信息,所述利用所述目标缺陷检测模型对所述目标产品相关信息所对应的待测图片进行缺陷检测,得到所述待测图片对应的待测产品的目标缺陷类别包括:根据所述图片存储位置信息从产品图片存储节点中获取对应的目标图片,作为所述产品缺陷检测任务对应的待测产品的图片,所述产品图片存储节点用于存储对所述待测产品进行拍摄得到的图片;
将所述目标图片输入到所述目标产品相关信息对应的目标缺陷检测模型中,得到待测产品的目标缺陷类别。
5.根据权利要求1所述的方法,其特征在于,所述根据所述训练样本进行模型训练,生成目标缺陷检测模型包括:
获取各个所述训练图片对应的存在缺陷的区域,作为候选区域,所述候选区域是根据所述训练图片对应的缺陷类别的图片特征,从所述训练图片中筛选得到的;
根据各个所述训练图片对应的候选区域以及对应的缺陷类别进行模型训练,生成目标缺陷检测模型。
6.根据权利要求5所述的方法,其特征在于,所述获取各个所述训练图片对应的存在缺陷的区域,作为候选区域包括:
将所述训练图片对应的缺陷类别的图片特征与所述训练图片的各个图像区域进行相似度计算,将相似度大于预设相似度的图像区域作为所述候选区域。
7.根据权利要求1所述的方法,其特征在于,所述利用所述目标缺陷检测模型对所述目标产品相关信息所对应的待测图片进行缺陷检测,得到所述待测图片对应的待测产品的目标缺陷类别包括:
将所述产品缺陷检测任务对应的待测图片输入到所述目标产品相关信息对应的目标缺陷检测模型中,所述目标缺陷检测模型输出各个候选缺陷类别对应的概率,将概率最大的候选缺陷类别作为目标缺陷类别。
8.一种产品缺陷检测数据处理系统,所述系统包括:模型训练节点,在生产终端显示的参数配置界面配置模型训练参数,所述模型训练参数包括缺陷学习类别和训练图片存储路径;所述参数配置界面显示候选的缺陷学习类别、缺陷学习类别增加控件以及训练图片路径输入控件,以使得所述生产终端通过选择操作选择候选的缺陷学习类别,或者对所述缺陷学习类别增加控件的操作增加新的缺陷学习类别的至少一种确定模型训练参数中的缺陷学习类别,通过对所述训练图片路径输入控件的操作确定所述模型训练参数中的训练图片存储路径;接收所述生产终端发送的产品缺陷检测模型生成请求,所述产品缺陷检测模型生成请求携带所述模型训练参数以及模型对应的产品相关信息,根据所述模型训练参数中的训练图片存储路径获取对应的训练图片以及获取所述训练图片对应的缺陷类别,得到训练样本,根据所述训练样本进行模型训练,生成目标缺陷检测模型,根据所述模型对应的产品相关信息建立所述目标缺陷检测模型与产品相关信息的对应关系;所述产品相关信息包括产品对应的制程信息、类别信息或者生产环境信息中的至少一种;
产品缺陷检测节点,接收产品缺陷检测任务,所述产品缺陷检测任务携带目标产品相关信息以及待测产品的产品标识;所述目标产品相关信息为所述产品缺陷检测任务对应的产品的产品相关信息;根据产品缺陷检测任务获取所述目标产品相关信息所对应的待测图片;根据所述对应关系,确定所述目标产品相关信息对应的目标缺陷检测模型;将所述产品缺陷检测任务对应的待测图片输入到所述目标产品相关信息对应的目标缺陷检测模型中,得到所述待测图片对应的待测产品的目标缺陷类别;其中,所述待测产品为多个;
服务节点,获取所述待测产品的目标缺陷类别对应的处理方式,根据所述目标缺陷类别对应的处理方式对所述待测产品的产品标识进行分类,得到各个所述处理方式对应的产品标识集合,向生产终端输出各个所述处理方式对应的产品标识集合,所述处理方式为对产品进行处理的方式,所述产品标识根据产品的生产顺序以及排放位置生成。
9.根据权利要求8所述的系统,其特征在于,所述根据所述训练样本进行模型训练,生成目标缺陷检测模型包括:
将所述训练样本中的训练图片输入到模型中,得到模型预测的缺陷类别;
根据模型预测的缺陷类别与训练图片实际的缺陷类别的差异计算得到损失值,利用梯度下降方法朝着损失值降低的方向调整模型参数,直至模型收敛,得到目标缺陷检测模型。
10.根据权利要求8所述的系统,其特征在于,所述根据所述训练样本进行模型训练,生成目标缺陷检测模型包括:
获取各个所述训练图片对应的存在缺陷的区域,作为候选区域,所述候选区域是根据所述训练图片对应的缺陷类别的图片特征,从所述训练图片中筛选得到的;
根据各个所述训练图片对应的候选区域以及对应的缺陷类别进行模型训练,生成目标缺陷检测模型。
11.根据权利要求10所述的系统,其特征在于,所述获取各个所述训练图片对应的存在缺陷的区域,作为候选区域包括:
将所述训练图片对应的缺陷类别的图片特征与所述训练图片的各个图像区域进行相似度计算,将相似度大于预设相似度的图像区域作为所述候选区域。
12.一种产品缺陷检测数据处理装置,所述装置包括:生成请求接收模块,用于接收生产终端发送的产品缺陷检测模型生成请求,所述产品缺陷检测模型生成请求携带模型训练参数以及模型对应的产品相关信息;所述产品相关信息包括产品对应的制程信息、类别信息或者生产环境信息中的至少一种;所述模型训练参数在生产终端显示的参数配置界面上配置,所述模型训练参数包括缺陷学习类别和训练图片存储路径;所述参数配置界面显示候选的缺陷学习类别、缺陷学习类别增加控件以及训练图片路径输入控件,以使得所述生产终端通过选择操作选择候选的缺陷学习类别,或者对所述缺陷学习类别增加控件的操作增加新的缺陷学习类别的至少一种确定模型训练参数中的缺陷学习类别,通过对所述训练图片路径输入控件的操作确定所述模型训练参数中的训练图片存储路径;
训练样本得到模块,用于根据所述模型训练参数中的训练图片存储路径获取对应的训练图片以及获取所述训练图片对应的缺陷类别,得到训练样本;
模型训练模块,用于根据所述训练样本进行模型训练,生成目标缺陷检测模型;
对应关系建立模块,用于根据所述模型对应的产品相关信息建立所述目标缺陷检测模型与产品相关信息的对应关系;
检测任务接收模块,用于接收产品缺陷检测任务,所述产品缺陷检测任务携带目标产品相关信息以及待测产品的产品标识;所述目标产品相关信息为所述产品缺陷检测任务对应的产品的产品相关信息;
目标缺陷检测模型确定模块,用于根据所述目标缺陷检测模型与产品相关信息的对应关系,确定所述目标产品相关信息对应的目标缺陷检测模型;
目标缺陷类别得到模块,用于将所述产品缺陷检测任务对应的待测图片输入到所述目标产品相关信息对应的目标缺陷检测模型中,得到所述待测图片对应的待测产品的目标缺陷类别;其中,所述待测产品为多个;
处理方式确定模块,用于获取所述待测产品的目标缺陷类别对应的处理方式,根据所述目标缺陷类别对应的处理方式对所述待测产品的产品标识进行分类,得到各个所述处理方式对应的产品标识集合,向生产终端输出各个所述处理方式对应的产品标识集合,所述处理方式为对产品进行处理的方式,所述产品标识根据产品的生产顺序以及排放位置生成。
13.根据权利要求12所述的装置,其特征在于,所述训练样本得到模块用于:获取所述缺陷学习类别对应的训练图片以及各个所述训练图片分别对应的缺陷类别,得到训练样本;其中,所述目标缺陷检测模型将所述缺陷学习类别作为候选缺陷类别,根据所述待测图片从所述候选缺陷类别中筛选得到所述待测产品的目标缺陷类别。
14.根据权利要求12所述的装置,其特征在于,所述模型训练模块用于:将所述训练样本中的训练图片输入到模型中,得到模型预测的缺陷类别;
根据模型预测的缺陷类别与训练图片实际的缺陷类别的差异计算得到损失值,利用梯度下降方法朝着损失值降低的方向调整模型参数,直至模型收敛,得到目标缺陷检测模型。
15.根据权利要求12所述的装置,其特征在于,所述产品缺陷检测任务还携带待测产品对应的图片存储位置信息,所述目标缺陷类别得到模块用于:根据所述图片存储位置信息从产品图片存储节点中获取对应的目标图片,作为所述产品缺陷检测任务对应的待测产品的图片,所述产品图片存储节点用于存储对所述待测产品进行拍摄得到的图片;
将所述目标图片输入到所述目标产品相关信息对应的目标缺陷检测模型中,得到目标缺陷类别。
16.根据权利要求12所述的装置,其特征在于,所述模型训练模块用于:获取各个所述训练图片对应的存在缺陷的区域,作为候选区域,所述候选区域是根据所述训练图片对应的缺陷类别的图片特征,从所述训练图片中筛选得到的;
根据各个所述训练图片对应的候选区域以及对应的缺陷类别进行模型训练,生成目标缺陷检测模型。
17.根据权利要求16所述的装置,其特征在于,所述模型训练模块用于:将所述训练图片对应的缺陷类别的图片特征与所述训练图片的各个图像区域进行相似度计算,将相似度大于预设相似度的图像区域作为所述候选区域。
18.根据权利要求12所述的装置,其特征在于,所述目标缺陷类别得到模块用于:将所述产品缺陷检测任务对应的待测图片输入到所述目标产品相关信息对应的目标缺陷检测模型中,所述目标缺陷检测模型输出各个候选缺陷类别对应的概率,将概率最大的候选缺陷类别作为目标缺陷类别。
19.一种计算机设备,其特征在于,包括存储器和处理器,所述存储器中存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行权利要求1至7中任一项所述的产品缺陷检测数据处理方法的步骤。
20.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时,使得所述处理器执行权利要求1至7中任一项所述的产品缺陷检测数据处理方法的步骤。
说明书 :
产品缺陷检测数据处理方法、装置、系统和设备
技术领域
背景技术
中产生的有缺陷的摄像头挑选出来,避免有缺陷的摄像头直接流入到下一工序中。
发明内容
根据用户的参数配置操作确定,所述模型训练参数包括缺陷学习类别或者训练图片信息中
的至少一种;根据所述模型训练参数获取对应的训练图片以及获取所述训练图片对应的缺
陷类别,得到训练样本;根据所述训练样本进行模型训练,生成目标缺陷检测模型,所述目
标缺陷检测模型用于根据待测产品对应的待测图片对所述待测产品进行缺陷检测,得到所
述待测产品的缺陷检测结果。
据所述模型训练参数获取对应的训练图片以及获取所述训练图片对应的缺陷类别,得到训
练样本,根据所述训练样本进行模型训练,生成目标缺陷检测模型,所述模型训练参数根据
用户的参数配置操作确定,所述模型训练参数包括缺陷学习类别或者训练图片信息中的至
少一种;产品缺陷检测节点,根据产品缺陷检测任务获取待测产品对应的待测图片,将所述
待测图片到所述目标缺陷检测模型中,得到所述待测产品的缺陷检测结果。
参数,所述模型训练参数根据用户的参数配置操作确定,所述模型训练参数包括缺陷学习
类别或者训练图片信息中的至少一种;训练样本得到模块,用于根据所述模型训练参数获
取对应的训练图片以及获取所述训练图片对应的缺陷类别,得到训练样本;模型训练模块,
用于根据所述训练样本进行模型训练,生成目标缺陷检测模型,所述目标缺陷检测模型用
于根据待测产品对应的待测图片对所述待测产品进行缺陷检测,得到所述待测产品的缺陷
检测结果。
别,得到训练样本,其中,所述目标缺陷检测模型将所述缺陷学习类别作为候选缺陷类别,
根据所述待测图片从所述候选缺陷类别中筛选得到所述待测产品的目标缺陷类别。
目标缺陷检测模型与产品相关信息的对应关系。
所述目标缺陷检测模型与产品相关信息的对应关系,确定所述目标产品相关信息对应的目
标缺陷检测模型;目标缺陷类别得到模块,用于将所述产品缺陷检测任务对应的待测图片
输入到所述目标产品相关信息对应的目标缺陷检测模型中,得到目标缺陷类别。
获取对应的目标图片,作为所述产品缺陷检测任务对应的待测产品的图片,所述产品图片
存储节点用于存储对所述待测产品进行拍摄得到的图片;将所述目标图片输入到所述目标
产品相关信息对应的目标缺陷检测模型中,得到目标缺陷类别。
从所述训练图片中筛选得到的;根据各个所述训练图片对应的候选区域以及对应的缺陷类
别进行模型训练,生成目标缺陷检测模型。
别对应的处理方式,根据所述目标缺陷类别对应的处理方式对所述待测产品的产品标识进
行分类,得到各个处理方式对应的产品标识集合,向生产终端输出各个处理方式对应的产
品标识集合。
面中配置的。
据处理方法的步骤。
处理方法的步骤。
练参数是产品缺陷检测模型生成请求携带的,根据用户的参数配置操作确定,包括缺陷学
习类别或者训练图片信息中的至少一种,因此用户可以根据实际的产品缺陷检测需要配置
训练参数,使得模型训练得到的产品缺陷检测模型满足生产需要且能够对产品的缺陷进行
自动检测,灵活性高且检测效率高。
附图说明
具体实施方式
不用于限定本申请。
论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术,它企图了解
智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能
也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。
大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机
视觉技术以及机器学习/深度学习等几大方向。
器视觉,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的图像。
作为一个科学学科,计算机视觉研究相关的理论和技术,试图建立能够从图像或者多维数
据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别等技术。本申
请实施例提供的方法,利用计算机视觉技术,对待测图片进行缺陷检测,因此可以确定待测
产品存在的缺陷。
行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。机器学
习是人工智能的核心,是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。
机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式
教学习等技术。
检测结果存储到区块链的数据区块中,可以保障缺陷检测结果的安全性和可靠性,而且由
于区块链的不可篡改性,可以避免他人为了利益,篡改产品缺陷检测结果,进而保障了查询
得到的产品缺陷检测结果的真实性。
希得到的,这样可以保证结果查询码的唯一性。当区块链节点接收到携带结果查询码的缺
陷检测结果查询请求时,可根据结果查询码从数据区块中获取对应的产品缺陷检测结果,
并返回到查询端。
相关联产生的数据块,每一个数据块中包含了一批次网络交易的信息,用于验证其信息的
有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及
应用服务层。
户管理)、密钥管理以及用户真实身份和区块链地址对应关系维护(权限管理)等,并且在授
权的情况下,监管和审计某些真实身份的交易情况,提供风险控制的规则配置(风控审计);
基础服务模块部署在所有区块链节点设备上,用来验证业务请求的有效性,并对有效请求
完成共识后记录到存储上。其中业务请求可以是产品缺陷检测结果存储请求,对于一个新
的业务请求,基础服务先对接口适配解析和鉴权处理(接口适配),然后通过共识算法将业
务信息加密(共识管理),在加密之后完整一致的传输至共享账本上(网络通信),并进行记
录存储;智能合约模块负责合约的注册发行以及合约触发和合约执行,开发人员可以通过
某种编程语言定义合约逻辑,发布到区块链上(合约注册),根据合约条款的逻辑,调用密钥
或者其它的事件触发执行,完成合约逻辑,同时还提供对合约升级注销的功能;运营监控模
块主要负责产品发布过程中的部署、配置的修改、合约设置、云适配以及产品运行中的实时
状态的可视化输出,例如:告警、监控网络情况、监控节点设备健康状态等。
应用服务给业务参与方进行使用。
企业对应的设备140。生产企业对应的设备140可以是MES(Manufacturing Execution
System,制造执行系统)中的设备。生产企业对应的设备140可以称为生产终端,例如可以是
工厂中的管理人员的电脑,电脑中可以安装相应的生产管理应用程序,也可以是用于生产
产品的制造设备。产品缺陷检测数据处理系统可以包括服务节点110、产品缺陷检测节点
120以及模型训练节点130。服务节点110用于与生产企业对应的设备110进行通信,提供产
品缺陷检测服务。例如向生产企业对应的设备140发送缺陷检测结果,接收生产企业对应的
设备140发送的产品缺陷检测模型生成请求,根据产品缺陷检测模型生成请求控制模型训
练节点130进行模型训练。模型训练节点130用于进行模型训练,得到目标缺陷检测模型,产
品缺陷检测节点120上部署有目标缺陷检测模型,用于根据待测产品的图片进行缺陷检测,
得到产品所存在的缺陷。
云存储和CDN等基础云计算服务的云服务器。
140也可以与产品缺陷检测节点120进行连接,也可以与模型训练节点130连接。
系统。产品缺陷检测数据处理系统中还可以不包括服务节点。而是由产品缺陷检测节点120
与生产企业对应的设备140进行交互。
由其中的部分节点执行所有的步骤,例如,由模型训练节点130执行,具体可以包括以下步
骤:
别或者训练图片信息中的至少一种。
指生产产品的工厂对应的用户。例如工厂中的研发工程师或者工艺工程师。生产用户可以
通过账号以及密码在生产终端上登录产品缺陷检测数据处理系统。模型训练参数是指与模
型训练相关的参数。可以包括缺陷学习类别或者训练图片信息中的至少一种,还可以包括
模型的类型、模型中隐层的层数、模型的准确率要求、对模型进行性能评估的测试集信息或
者模型训练时所需要配置的计算机资源等中的至少一个。模型的类型例如可以是CNN
(Convolutional Neural Networks,卷积神经网络)。模型对应的缺陷学习类别是指模型所
要学习的缺陷类别。缺陷学习类别的个数可以根据需要设置,例如1个或者多个。多个是指
两个以上,两个以上包括两个。产品缺陷检测模型为分类模型。分类模型可以是二分类,则
分类结果可以是包括缺陷或者不包括缺陷。分类模型也可以是三分类以上。例如对于三分
类,分类结果可以为不存在缺陷,存在A缺陷以及存在B缺陷三种。A缺陷以及B缺陷是产品缺
陷检测模型生成请求中携带的。训练图片信息用于确定训练图片。例如产品缺陷检测模型
生成请求可以携带训练图片、训练图片的标识或者训练图片的存储位置中的至少一种。
例如,可以是从界面上显示的缺陷学习类别中选择类别,可以是增加新的缺陷学习类别。参
数配置操作可以是屏幕触摸操作、手势操作、语音操作或者鼠标输入操作中的一种或多种。
产品缺陷检测模型生成请求可以是用户对应的生产终端发送的。用户可以在生产终端中显
示的参数配置界面配置模型训练参数。例如生产终端上可以安装有生产管理应用程序。生
产终端可以显示参数配置界面。用户可以根据需要在参数配置界面配置模型训练参数。由
于产品生产过程中,生产时间、站点或者工艺参数中的任意一个或者多个不同都可能会导
致产品的缺陷不同。或者是不同产品,对应的缺陷检测标准也可能不同。而不同的缺陷检测
标准,则获取的训练图片是不同的。例如,如果缺陷检测标准高,则对训练图片的缺陷进行
标注时,也需要执行严格的标注标准。如果产品的缺陷不同,则模型所要学习的缺陷类别也
不同。通过参数配置界面,可以根据生产业务场景灵活配置模型训练参数。例如根据待测产
品对应的缺陷配置缺陷学习类别。根据产品缺陷检测标准配置训练图片,训练图片的缺陷
标注标准根据产品检测标注确定。训练图片可以预先存储到系统中,系统中可以配置不同
的产品缺陷检测标准对应的训练图片。或者是由用户根据产品缺陷检测标准选择对应的训
练图片。
或者本地存储的图片中选取图片的界面。当参数配置完毕后,可以点击“提交模型生成请
求”,以发送产品缺陷检测模型生成请求。
获取各个缺陷学习类别分别对应的图片,作为训练图片,当然还可以获取不存在缺陷的图
片,作为负样本。当模型训练参数包括训练图片信息时,可以根据训练图片信息获取得到训
练图片。例如,模型训练参数中包括训练图片为存储在A文件夹的图片,且缺陷学习类别为H
以及B。则可以在A文件夹中获取缺陷类别为H的图片以及缺陷类别为B的图片,作为训练图
片。
后,上传到系统中进程存储。当需要生成模型时,系统可以向生产终端返回选择训练图片的
选项信息,选项信息中包括图片的标识,例如图片的文件夹名称,用户根据选项信息选择图
片进行训练。
结果。
别,根据模型预测的缺陷类别与训练图片实际的缺陷类别的差异计算得到损失值,利用梯
度下降方法朝着损失值降低的方向调整模型参数,直至模型收敛,得到目标检测模型。模型
收敛可以包括指模型的损失值小于预设值或者是训练次数达到预设次数中的至少一种。待
测产品的缺陷检测结果可以是产品是否包括缺陷。在一些实施例中可以包括缺陷的类别。
待测产品是指需要进行缺陷检测的产品。
是产品缺陷检测模型生成请求携带的,根据用户的参数配置操作确定,包括缺陷学习类别
或者训练图片信息中的至少一种,因此用户可以根据实际的产品缺陷检测需要配置训练参
数,使得模型训练得到的产品缺陷检测模型满足生产需要且能够对产品的缺陷进行自动检
测,灵活性高且检测效率高。
因此,生产用户可以在不具备相关的机器学习专业知识的情况下,根据生产需要配置缺陷
学习类别或者训练图片信息中的至少一种,模型训练节点便可以根据模型训练参数,采用
配置的模型训练方法,根据训练图片自动的进行模型训练,生成缺陷检测模型,从而降低了
生产用户使用模型进行缺陷检测的门槛,提高了模型的生成效率。例如,产品缺陷检测数据
处理系统上可以配置有模型的结构、模型参数的初始值、计算损失值的函数、模型训练时根
据损失值调整模型参数的规则以及模型收敛条件。当得到训练图片时,训练图片自动输入
到模型中,得到预测缺陷,系统根据预测缺陷、实际缺陷以及损失值计算函数计算得到损失
值,根据损失值以及调整模型参数的规则调整模型参数。调整模型参数的规则可以包括模
型的参数每次调整的步长或者学习率中的至少一个。可以多次重复上述训练图片自动输入
到模型中,得到预测缺陷,系统根据预测缺陷以及实际缺陷,以及损失值计算函数计算得到
损失值,根据损失值以及调整模型参数的规则调整模型参数的步骤,直至模型收敛。因此配
置的模型训练方法相当于模型的模具,通过这个模具,输入不同的缺陷学习类别或者训练
图片信息中的至少一种,便可训练出适合不同业务场景(不同生产需求)的模型。
设置,基于随机设置的隐层参数进行模型训练。参数配置界面还可以配置是继续训练已有
的模型还是重新训练模型。因此可以实现从无到有创建模型,也可以对已有的模型的参数
进行更新,即模型可以随着生产的变化,不断通过新的训练图片进行迭代升级。
对应的选项信息。用户可以选择历史图片以及新图片中的至少一种作为本次进行模型训练
的图片。历史图片是指训练已有的缺陷检测模型时所利用的训练图片。新图片是指历史图
片之外的图片,例如可以在历史图片之后,生产产品时产品进行拍摄得到的图片。当用户选
择历史图片和新图片进行训练时,则训练得到的模型既可以学习得到检测最新出现的缺陷
的参数,也可以保留对既往缺陷的检测能力。
应的训练图片以及各个训练图片分别对应的缺陷类别,得到训练样本,其中,目标缺陷检测
模型将缺陷学习类别作为候选缺陷类别,根据待测图片从候选缺陷类别中筛选出待测产品
的目标缺陷类别。
作为候选缺陷类别,当获取到对待测产品进行拍摄,得到的待测图片后,可以将待测图片输
入到目标缺陷检测模型中,目标缺陷检测模型可以输出各个候选缺陷类别对应的概率,将
概率最大的缺陷类别作为目标缺陷类别。
与产品相关信息的对应关系。
置界面可以为同一界面,也可以是不同界面。不同的产品相关信息,对应的模型可能是不同
的,当产品缺陷检测模型生成请求还携带模型对应的产品相关信息,建立目标缺陷检测模
型与产品相关信息的对应关系。
经过多个制造流程。例如,一个摄像头,包括镜座、芯片以及基板三个主要的零件。则生产流
程可以包括flip chip(倒装芯片)、倒装后进行加热以及安装镜座三个流程,产品当前可以
是在flip chip制程,需要对经过flip chip制程生产得到的产品进行缺陷检测。flip chip
是指倒装芯片,将芯片安装在基板中。类别信息表示产品的类别。产品可以根据需要进行分
类。例如,根据制造参数对产品进行分类。不同的制造参数对应不同的类别。也可以是根据
产品的功能进行分类。例如,对于液晶面板产品可以分为扭曲向列型面板以及广视角面板。
生产环境信息是与产品的生产环境有关的参数,例如所在的厂区、生产线信息等。还可以包
括温度、厂区洁净度或者湿度中的一种或多种信息。
型参数可能是不同的,如果均采用相同的模型进行缺陷检测,则缺陷准确度低。而工厂中,
所生产的产品种类一般为多个,对应的产品相关信息可能在不断进行变化,生产人员需要
根据所生产的产品灵活确定缺陷检测策略,因此对应的缺陷检测模型是不同的,通过建立
目标缺陷检测模型与产品相关信息的对应关系,可以有针对性的利用对应的检测模型对产
品图片进行缺陷检测。
示,可以采用树状图的形式展示不同层级的产品相关信息的配置过程。鼠标悬浮到任一层
级,便可激活相应的操作流,即激活对该层级的产品相关信息的配置过程。图3中,厂区属于
第一层级,一个厂区可以有一个或多个厂别,即不同的工厂。不同的厂别可以有一个或多个
站点。不同站点还可以有一个或多个类别的产品。例如,图3中,T01表示厂区,b001以及b002
表示厂别。3051、3052、3053以及3054表示站点。CP001~CP005表示产品的类别。当点击站点
名称时,可以在该站点下添加产品、移除产品或者删除站点。如图3所示,生产终端上还可以
显示行业配置界面,用于配置产品对应的行业。还可以包括任务类型配置界面以及计算资
源配置界面。任务类型配置界面用于配置任务的类型,任务可以包括对图片进行分割、对图
片进行分类,以及对图片进行分类以及分割等类型。计算资源配置界面用于配置模型训练
时所使用的资源或者使用模型时所使用的资源,资源可以为GPU(Graphics Processing
Unit,图形处理器)或者CPU(central processing unit,中央处理器)资源中的至少一个。
制程信息、类别信息或者生产环境信息中的至少一种。产品缺陷检测任务可以是MES系统发
送的。
获取得到对应的产品标识,返回检测结果以及对应的产品标识。例如,可以携带液晶面板的
标识以及对应的图片标识。
目标缺陷检测模型。模型1对应制程1,模型2对应制程2。则当产品相关信息包括制程2时,则
将模型2作为目标缺陷检测模型。
送消息,即发送缺陷检测任务。产品缺陷检测数据处理系统根据任务中携带的产品相关信
息确定对应的目标缺陷检测模型。
可以携带待测图片,也可以携带待测图片的存储位置信息。因此可以获取产品缺陷检测任
务对应的待测图片,将待测图片输入到目标产品相关信息对应的目标缺陷检测模型中,由
该模型对图片进行处理,得到目标缺陷类别,作为该图片对应的待测产品的缺陷类别。
细化检测。
应的目标缺陷检测模型中,得到目标缺陷类别包括:根据图片存储位置信息从产品图片存
储节点中获取对应的目标图片,作为产品缺陷检测任务对应的待测产品的图片,产品图片
存储节点用于存储对待测产品进行拍摄得到的图片;将目标图片输入到目标产品相关信息
对应的目标缺陷检测模型中,得到目标缺陷类别。
可以是边拍摄边上传到图片存储系统中,当需要检测时,则触发产品缺陷检测任务,并携带
待测产品对应的图片存储位置信息。由于检测任务与图片的上传是分别进行的,图片存储
在图片存储节点中,检测任务中携带的是图片存储位置,因此可以减少检测任务的数据量。
得到图片存储位置信息对应的图片后,产品缺陷检测节点可以将该图片作为目标图片,将
该目标图片输入到目标产品相关信息对应的目标缺陷检测模型中,可以得到该图片对应的
产品所存在的缺陷类别,即目标缺陷类别。
陷类别的图片特征,从训练图片中筛选得到的;根据各个训练图片对应的候选区域以及对
应的缺陷类别进行模型训练,生成目标缺陷检测模型。
至少一个。可以对候选图片进行分割,得到多个图像区域,基于缺陷类别的图片特征,与训
练图片中的各个图像区域进行相似度计算,将相似度大于预设相似度的区域作为候选区
域。例如可以是采用模板匹配的方法筛选得到候选区域。模板匹配是指对于模板图片和搜
索图片,在搜索图片中找到与模板图片相似的区域作为候选区域,相似可以是指相似度大
于预设相似度。本申请实施例中,搜索图片为训练图片,模板图片为缺陷类别对应的图片。
类别作为模型期望的输出,进行模型训练,根据模型预测得到的输出以及模型期望的输出
的差异得到损失值,朝着损失值变小的方向调整模型参数,得到目标缺陷检测模型。
练得到的模型更加准确。因为一般而言,训练图片比较大,而缺陷比较小,除了缺陷外,训练
图片还包括没有缺陷的区域,故可以筛选更能反映缺陷的特征的候选区域,利用该候选区
域进行模型训练,从而能够学习到更准确的模型参数。而且,候选区域是由计算机设备自动
确定的,无需由人工标注缺陷在图片中的位置也可以训练得到准确的模型,减少了人力成
本。
理方式,根据待测产品的目标缺陷类别对应的处理方式对待测产品的产品标识进行分类,
得到各个处理方式对应的产品标识集合,向生产终端输出各个处理方式对应的产品标识集
合。
的。有些缺陷类别的产品需要报废。有些缺陷则可以进行进一步优化,优化的方式也可以不
同,例如优化方式可以为补充胶水或者去除污垢。例如,如果缺陷为玻璃缺角,则该玻璃需
要报废处理。可以预先设置各个缺陷类别分别对应的处理方式。产品标识集合中可以包括
一个或多个产品对应的标识。对于每一种处理方式,可以对应一个产品标识集合。得到产品
标识集合后,输出各个处理方式对应的产品标识集合到生产终端,这样生产人员可以根据
产品标识确定到各个需要处理的产品以及对应的处理方式,根据对应的处理方式对该产品
进行处理,方便且高效。
陷,根据预测缺陷以及测试图片对应的实际缺陷确定缺陷识别错误的测试图片,向发送产
品缺陷检测模型生成请求的生产终端输出缺陷识别错误的测试图片对应的预测缺陷以及
实际缺陷。使得生产终端上可以显示缺陷识别错误的测试图片对应的预测缺陷以及实际缺
陷。这样,用户可以根据缺陷识别错误的测试图片对应的预测缺陷以及实际缺陷,确定测试
集中的图片是否标注错误,使得生产人员可以参考标注情况调整标注标准,缺陷识别错误
的测试图片可以是指人工标注与模型输出不一致的图片。
回率。使得生产人员可以知晓模型训练的状况。例如,如图5所示,生产终端中可以显示模型
的性能评估结果。可以是各个序列对应的性能评估结果,一个序列可以是指一个缺陷类别
对应的训练图片。当点击序列时,可以显示该序列对应的样本信息。例如误判样本的信息,
误判样本是指缺陷识别错误的样本,真实类别是指该图片真实的缺陷的类别,推测类别是
指模型输出的类别。训练图片的分辨率可以是600*400。
图片的缺陷进行标注,将该图片对应的缺陷类别标注为X。然后将标注了缺陷类别的图片上
传到训练图片存储系统。
练图片信息中的至少一种。
存储路径以及要学习的缺陷类别为H缺陷以及B缺陷。
类别。例如,可以得到图片1对应的缺陷类别为H缺陷,图片2对应的缺陷类别为B缺陷。
合,向生产终端输出各个处理方式对应的产品标识集合。
组成B缺陷对应的产品标识集合。
的变化而变化,因此要求产品缺陷检测模型也能够根据要求随时进行更新或者生产新的模
型,本申请实施例提供的方法,可以将复杂的模型训练方法封装,与模型训练有关的缺陷学
习类别或者训练图片信息中的至少一个则支持用户根据需要进行灵活配置,因此工厂的人
员可以随时根据生产需求进行参数配置,实现快速从0到1和1到N的模型构建,得到满足需
求的产品缺陷检测模型,其中N是指模型的版本。
类别,得到训练样本,根据训练样本进行模型训练,生成目标缺陷检测模型,模型训练参数
根据用户的参数配置操作确定,模型训练参数包括缺陷学习类别或者训练图片信息中的至
少一种,
的对应关系,模型对应的产品相关信息包括待测产品对应的制程信息、类别信息、生产时间
或者生产环境信息中的至少一种。
标产品相关信息对应的目标缺陷检测模型,将产品缺陷检测任务对应的待测图片输入到目
标产品相关信息对应的目标缺陷检测模型中,得到目标缺陷类别。
理方式,根据待测产品的目标缺陷类别对应的处理方式对待测产品的产品标识进行分类,
得到各个处理方式对应的产品标识集合,向生产终端输出各个处理方式对应的产品标识集
合。
存储系统。训练图片存储系统用于存储训练所需要的测试图片和训练图片。待测图片存储
系统用于存储待测产品对应的图片。
检测系统(对应图1的产品缺陷检测节点)、(对应图1的模型训练节点)、图片存储系统以及
图片标注系统。每个系统相互之间可以以微服务的方式进行解耦,以减少部署成本,提高系
统的可维护性。当然具体的架构并不局限于此,在实际的客户部署中可以进行调整,并且定
制化对应的功能。例如可以是包括产品缺陷检测系统和模型训练系统。各个系统之间可以
通过HTTP/TCP协议进行通信连接。微服务的基本思想在于考虑围绕着业务领域组件来创建
应用,这些应用可独立地进行开发、管理和加速。在分散的组件中使用微服务云架构和平
台,使部署、管理和服务功能交付变得更加简单。API(Application Programming
Interface,应用程序编程接口)为预先定义的函数。告警处理可以是在当缺陷结果满足预
设条件时则进行告警,预设条件可以是缺陷产品数量大于预设值或者缺陷率大于预设缺陷
率。订阅推送可以向终端推送订阅的信息。自动不良分类可以根据处理方式进行分类。
集成、设备运行数据以及检测结果分发等任务;服务系统可以通过FTP(File Transfer
Protocol,文件传输协议)与工厂中的智能制造系统进行直接对接,以进行检测任务和消息
交换,实现人工智能模型与工厂端的信息系统的完美对接。服务系统还可以提供模型版本
管理、调用配置自定义缺陷计算规则、以及对AI推理系统的请求进行负载均衡的功能。缺陷
计算规则是指处理方式与缺陷所要满足的条件的对应关系。例如对于某一个缺陷,可以设
置当缺陷满足A条件则就要修补,满足B条件就要报废等。举个具体的例子,对应污垢,可以
是当污垢面积大于第一阈值时则需要报废,当污垢小于第二阈值时则可以进行清洗。由于
缺陷检测系统中可能包括多个设备,缺陷检测任务也可以包括多个业务,因此可以给对缺
陷检测系统的设备进行轮询,确定是否可以提供缺陷检测任务,以实现缺陷检测系统的负
载均衡。
产品的处理方式。数据统计组件可以实时统计线上数据报表情况,实时查看利用AOI
(Automatic Optic Inspection,自动光学检测)进行拍摄得到的图片的不同类别缺陷占比
情况和模型的上线效果。其中,待测图片可以是AOI初步判断存在缺陷的产品对应的图片。
“开单建议管理”用于配置根据不同缺陷,确定是否需要开产品信息单给相关人员审阅的策
略文档。复判工具组件支持模型判完的图片进行二次人工核实复判,以确认模型的真实处
理效果。“账号权限”用于配置不同账号权限。自动光学检测设备是基于光学原理来对生产
制造过程中遇到的缺陷进行检测的设备。
数量,并按照预设规则进行展示。
进行模型训练,这样可以大大减少人力标注成本和标注周期。图片标注系统还可以具备人
工审查功能,即可以将已标注的图片返回到终端中,以进行人工审查,用标注准确的图片进
行模型训练,确保训练图片的准确性和有效性。
以及服务高可用。
务配置的页面创建模型服务配置,通过将模型服务与所需计算资源(例如CPU和GPU资源)打
包,可以配置和定义可启动的模型服务单实例,启动该模型服务配置,可以完成模型服务的
部署。对于微服务管理模块,可在对应的页面查看服务运行情况。在启动服务的过程中,可
以根据业务需求采取手动或自动的方式调节服务的范围,从而达到对服务的精细化控制与
管理。
断错误的图片标注后进行模型重训。模型镜像功能是指设置了模型训练的方法。可以根据
用户配置的模型训练参数,利用模型训练方法进行模型训练。
可以存储多个不同的模型。在线评估用于根据测试数据集评估模型的性能。可以用准确率
以及召回率表示。题库是指测试样本,模型对比可以通过对比不同模型的性能,从而选择最
优的模型。题库数据集是指测试数据集。因此模型训练系统集数据处理、模型训练、评估、预
测于一体,提供模型训练的全流程能力。其中概览对应的页面可以如图10所示,主数据模块
是用于对产品相关信息进行配置的模块,行业主数据指与行业有关的数据。
型训练系统可持续提升模型精度,缺陷识别速度高、准确率好以及效率高。其中,目标缺陷
检测模型可以是深度学习神经网络模型,通过深度学习技术、并且结合图像处理技术,例如
图像分割技术。可以实现产品缺陷的自动检测,节省人力成本。而且可以减少半成品在生产
过程中等待时间,因此提升单位时间为产品产量。进一步地,由于检测准确度高,因此可以
提升各个流程的良率,从而提升总体最终良率。
步骤。由图11可以看出,MES系统可通消息总线与服务系统进行消息的交换,服务系统可对
消息进行解析,解析得到产品缺陷检测任务,通过http(HyperText Transfer Protocol,超
文本传输协议)请求的方式发送产品缺陷检测请求到产品缺陷检测系统,产品缺陷检测系
统从存储生产产品的产品图片存储系统中获取对应的图片进行缺陷检测,得到检测结果并
返回给服务系统。服务系统根据目标缺陷类别对应的处理方式(业务规则)对待测产品的产
品标识进行分类,得到各个处理方式对应的产品标识集合,向MES系统输出处理方式对应的
产品标识集合。其中,服务系统可以调度产品缺陷检测系统中的模型,产品缺陷检测系统可
以进行虚拟化处理,图片存储系统中存储有图片以及对应的描述文件。模型训练系统中可
以新建模型,也可以对模型进行迭代提升,可以对模型进行测试。
训练数据集是用户通过生产终端进行配置的。图片标注系统可以输出图片到对应的终端,
由人工进行标注,得到图片的标签,即缺陷类型。然后再自动检测得到图片对应的存在缺陷
的区域,作为候选区域,从而实现半自动的标注,当然也可以输出标注了候选区域的训练图
片,由人工进行审查,以确定候选区域是存在缺陷的区域。模型训练节点根据产品缺陷检测
模型生成请求进行模型训练以及模型性能的评估,得到目标检测模型后,部署到产品缺陷
检测系统。
理请求)进行负载均衡处理,推理服务节点用于提供产品缺陷检测服务,可以有多个推理服
务节点,一个推理服务节点可以提供多个推理服务,一个推理服务可以部署有一个产品缺
陷检测模型。管理终端对KE(Kubernetes Engine)控制台以及推理服务控制台进行管理,例
如设置相关的参数等。KE可以提供以容器为核心的、高度可扩展的高性能容器管理服务。推
理服务后台用于将任务下发到应用程序接口服务器(API Server),应用程序接口服务器具
有调度功能,可以调度对应的推理服务模型提供产品缺陷检测服务。API Server接收用户
通过发来的请求,按照路由规则分发。分布式存储系统可以是etcd存储系统,etcd是用于配
置共享和服务发现的键值存储系统。API Server可以与etcd系统进行交互。API Server可
以调用相应的插件或者组件。例如可以是kubelet、gpu(Graphics Processing Unit,图形
处理器)对应的插件或者docker等节点组件。kubernetes是一个分布式的集群管理系统,用
于对容器进行生命周期的管理。Docker是指应用容器引擎。数据库可以是MYSQL数据库。
MySQL是一个关系型数据库管理系统。
有多台。管理用户可以通过管理终端对服务提供节点进行管理,同时也可以通过服务提供
节点完成产品缺陷检测系统的参数的配置。服务提供节点可以对应多个MYSQL数据库,可以
对数据库进行容器化处理。其中生产用户对应的终端可以向产品缺陷检测系统发送产品缺
陷检测请求。KE(Kubernetes Engine)管理节点以及GPU管理节点可以有一台或者多台,具
体根据需要设置。可以利用存储系统进行数据的存储,存储系统可以是NAS(Network
Attached Storage:网络附属存储)存储系统。服务提供节点与KE管理节点可以是同一个节
点。存储系统、KE管理节点以及GPU管理节点可以通过交换机进行交互。服务提供节点用于
提供产品缺陷检测服务,KE管理节点可以提供云容器管理服务。
请求接收模块1402、训练样本得到模块1404以及模型训练模块1406。
数包括缺陷学习类别或者训练图片信息中的至少一种;
品的缺陷检测结果。
本,其中,目标缺陷检测模型将缺陷学习类别作为候选缺陷类别,根据待测图片从候选缺陷
类别中筛选得到待测产品的目标缺陷类别。
息建立目标缺陷检测模型与产品相关信息的对应关系。
标图片,作为产品缺陷检测任务对应的待测产品的图片,产品图片存储节点用于存储对待
测产品进行拍摄得到的图片;将目标图片输入到目标产品相关信息对应的目标缺陷检测模
型中,得到目标缺陷类别。
目标缺陷类别对应的处理方式对待测产品的产品标识进行分类,得到各个处理方式对应的
产品标识集合,向生产终端输出各个处理方式对应的产品标识集合。
的。
理器、存储器以及网络接口。其中,存储器包括非易失性存储介质和内存储器。该计算机设
备的非易失性存储介质存储有操作系统,还可存储有计算机程序,该计算机程序被处理器
执行时,可使得处理器实现产品缺陷检测数据处理方法。该内存储器中也可储存有计算机
程序,该计算机程序被处理器执行时,可使得处理器执行产品缺陷检测数据处理方法。
备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
可存储组成该产品缺陷检测数据处理装置的各个程序模块,比如,图14所示的生成请求接
收模块1402、训练样本得到模块1404以及模型训练模块1406。各个程序模块构成的计算机
程序使得处理器执行本说明书中描述的本申请各个实施例的产品缺陷检测数据处理方法
中的步骤。
携带模型训练参数,模型训练参数根据用户的参数配置操作确定,模型训练参数包括缺陷
学习类别或者训练图片信息中的至少一种;通过训练样本得到模块1404根据模型训练参数
获取对应的训练图片以及获取训练图片对应的缺陷类别,得到训练样本;通过模型训练模
块1406根据训练样本进行模型训练,生成目标缺陷检测模型,目标缺陷检测模型用于根据
待测产品对应的待测图片对待测产品进行缺陷检测,得到待测产品的缺陷检测结果。
的步骤。此处产品缺陷检测数据处理方法的步骤可以是上述各个实施例的产品缺陷检测数
据处理方法中的步骤。
陷检测数据处理方法的步骤可以是上述各个实施例的产品缺陷检测数据处理方法中的步
骤。
这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,各实施例
中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是
在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不
必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流
或者交替地执行。
存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请
所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非
易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、
电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取
存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态
RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM
(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直
接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
在矛盾,都应当认为是本说明书记载的范围。
来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保
护范围。因此,本申请专利的保护范围应以所附权利要求为准。