一种半导体视觉检测快速部署和运维的方法、系统及存储介质转让专利

申请号 : CN202210168459.7

文献号 : CN114237635B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 别晓辉梁千柱别伟成单书畅

申请人 : 视睿(杭州)信息科技有限公司

摘要 :

本申请提供了一种半导体视觉检测快速部署和运维方法、系统和存储介质。本申请采用低代码的思想,通过配置的方式快速的实现机器视觉算法的调试可视化和逻辑流程,并以解决方案包的形式进行快速的部署;通过将半导体封装和晶圆检测领域中大量人为操作的功能场景集成在一套软件平台中,对机台的配置参数,训练数据,训练模型进行暂存和版本的管理,通过可视化图表实时监测模型训练的过程,使得模型数据准确快速,解决了需求复杂多变引发的开发响应速度慢,现场生产过程中维护成本高,调试迭代的复杂度高等问题。

权利要求 :

1.一种半导体视觉检测快速部署和运维的方法,其特征在于,包括如下步骤:按照预定的数据类型和格式解析算法函数的输入参数和输出结果,将算法函数的输入参数和输出结果进行可视化处理;

根据可视化处理的部署结果对算法函数的逻辑关系进行归纳,并对目标解决方案中的多个算法函数的逻辑关系进行重新配置,生成调试算法库;

利用调试算法库对半导体芯片的图像坐标与物理坐标进行视觉定位以及切割制作,并实时输出调试数据;

对切割后的小图进行标注分类生成算法函数可以解析的训练集,利用训练集生成并迭代调试模型;

所述解析算法函数的输入参数和输出结果,将算法函数的输入参数和输出结果进行可视化处理具体为:分别对算法函数的输入参数和输出结果按照数据类型和格式进行注册和定义;

解析算法函数输入参数的数据类型生成对应的UI输入控件,根据UI输入控件采用图像交互模式加载算法函数的输出结果;

解析算法函数输出结果的数据类型生成对应的绘制元素,利用绘制元素在图像上进行绘制;

所述根据可视化处理的部署结果对算法函数的逻辑关系进行归纳,并对目标解决方案中的多个算法函数的逻辑关系进行重新配置具体为:根据部署结果中的区域划分情况获取边界处的算法函数间逻辑关系,判断各算法函数的逻辑关系是否需要矫正;

若需要矫正,则对目标解决方案中存在问题的算法函数间关系参数进行识别;

根据部署结果中的区域划分情况修改被识别的关系参数中逻辑节点间的关系格式和节点属性;

所述对目标解决方案中的多个算法函数的逻辑关系进行重新配置,生成调试算法库具体为:重新配置边界处的算法函数间逻辑关系,生成调试算法库中各算法函数的逻辑关系包括依赖、共享和并行;

当逻辑关系为依赖时,则根据上一算法函数的输出参数生成下一算法函数的输出参数;

当逻辑关系为共享时,则将上一算法函数的输入参数与下一算法函数的输入参数进行同步;

当逻辑关系为共行时,则将上一算法函数的输入参数、算子以及输出参数均与下一算法函数进行同步。

2.根据权利要求1所述的半导体视觉检测快速部署和运维的方法,其特征在于,还包括:实时监测输出的调试数据,并与预设的调试数据进行对比,其中预设的调试数据为根据调试算法库生成的视觉定位和切割制作方案下的调试数据;

根据调试数据的对比结果判断是否需要对调试算法库进行调整,若需要重新调整调试算法库则再次配置解决方案中算法函数的逻辑关系。

3.根据权利要求1所述的半导体视觉检测快速部署和运维的方法,其特征在于,对切割后的小图进行标注分类之后,生成算法函数可以解析的训练集之前还包括:获取切割后的图片标签数据和图形数据,根据数据的字节属性对标签数据和图形数据进行强制格式校验;

若格式校验结果不通过,则以预设格式模板对标签数据和图形数据进行修正和对齐。

4.根据权利要求1所述的半导体视觉检测快速部署和运维的方法,其特征在于,利用训练集生成并迭代调试模型具体为:将生成的训练集通过工具软件上传至云平台,并调取切割过程中的调试算法库;

利用上一步生成的训练集对调试算法库进行训练,依次生成各个阶段下的调试模型;

下载切割制作过程中适宜的调试模型训练在生成过程中进行更新迭代。

5.根据权利要求1所述的半导体视觉检测快速部署和运维的方法,其特征在于,还包括:实时监控训练进程,获取训练过程中的进度参数和效果参数;

根据进度参数和效果参数实时生成训练任务监测可视化图表,监测可视化图表反馈指标包括标签检测、准确度、进度和损失。

6.一种半导体视觉检测快速部署和运维系统,其特征在于,包括存储器和处理器,所述存储器中包括半导体视觉检测快速部署和运维方法程序,所述程序被所述处理器执行时,实现如权利要求1 5任一项所述半导体视觉检测快速部署和运维方法的步骤。

~

7.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中包括半导体视觉检测快速部署和运维方法程序,所述程序被处理器执行时,实现如权利要求1 5任一项所~述半导体视觉检测快速部署和运维方法的步骤。

说明书 :

一种半导体视觉检测快速部署和运维的方法、系统及存储

介质

技术领域

[0001] 本申请属于半导体检测技术领域,更具体的,涉及一种半导体视觉检测快速部署和运维的方法、系统及存储介质。

背景技术

[0002] 半导体产业作为现代信息技术产业的基础,已成为社会发展和国民经济的基础性、战略性和先导性产业,是现代日常生活和未来科技进步必不可少的重要组成部分。随着半导体产品的加工面积成倍缩小带来加工难度不断扩大,未来生产半导体产品的制造设备将越来越精细化。近几年的一些新型技术更是推生出更多种类的半导体芯片,例如:AI芯片,5G芯片、物联网芯片、存储芯片、光芯片以及MEMS芯片等。随着芯片种类的增多,加之同种芯片在越发严格的要求下,对于质检的要求也越来越严格。
[0003] 半导体芯片检测的方式多种多样,包括从传统的图像算法、机器学习算法,到不断发展中的AI神经网络算法。而且不同的芯片制程阶段,不同的芯片类型,对检测的要求也都不同,需要开发大量的检测算法来应对繁多复杂的需求。为了应对这些变化,也急需一套较为标准的软件流程来加速芯片质检过程中的开发,部署,运维等各个阶段。
[0004] 针对不同芯片的检测需求开发出来的算法,在部署到现场检测软件过程中往往需要进行编程上的改动来适配。之后还需要进行参数的调试来获得较好的结果,而对于可视化的结果展示往往也需要软件编程的辅助来实现。整个过程会随着需求的增多而不断重复。
[0005] 随着芯片尺寸的不断精密化,在一个相机视图下会有多个芯片实例,所以在对单个芯片进行检测前往往需要对整图进行切割。如果使用AI算法进行检测,还需要将切割后的小料进行标注和分类。之后将标注好的数据集传回进行模型训练。整个流程需要很多的人为介入,如切割结果是否正确,分类过程中的命名及规范,数据拷贝过程中的校验,模型迭代过程中的管理等。其中某一个环节出现问题将会导致最终的结果错误并且难以排查,因此存在开发响应速度慢,现场生产过程中维护成本高,调试迭代的复杂度高等问题。

发明内容

[0006] 有鉴于此,本申请提供了一种半导体视觉检测快速部署和运维的方法、系统及存储介质,结合行业经验规范一套标准的流程和管理方式,再通过软件自动化的方式进行部署和运维,解决了需求复杂多变引发的开发响应速度慢,现场生产过程中维护成本高,调试迭代的复杂度高等问题。
[0007] 本申请的具体技术方案如下:
[0008] 本申请第一方面提供一种半导体视觉检测快速部署和运维的方法,包括如下步骤:
[0009] 按照预定的数据类型和格式解析算法函数的输入参数和输出结果,将算法函数的输入参数和输出结果进行可视化处理;
[0010] 根据可视化处理的部署结果对算法函数的逻辑关系进行归纳,并对目标解决方案中的多个算法函数的逻辑关系进行重新配置,生成调试算法库;
[0011] 利用调试算法库对半导体芯片的图像坐标与物理坐标进行视觉定位以及切割制作,并实时输出调试数据;
[0012] 对切割后的小图进行标注分类生成算法函数可以解析的训练集,利用训练集生成并迭代调试模型。
[0013] 优选的,解析算法函数的输入参数和输出结果,将算法函数的输入参数和输出结果进行可视化处理具体为:
[0014] 分别对算法函数的输入参数和输出结果按照数据类型和格式进行注册和定义;
[0015] 解析算法函数输入参数的数据类型生成对应的UI输入控件,根据UI输入控件采用图像交互模式加载算法函数的输出结果;
[0016] 解析算法函数输出结果的数据类型生成对应的绘制元素,利用绘制元素在图像上进行绘制。
[0017] 优选的,根据可视化处理的部署结果对算法函数的逻辑关系进行归纳,并对目标解决方案中的多个算法函数的逻辑关系进行重新配置具体为:
[0018] 根据部署结果中的区域划分情况获取边界处的算法函数间逻辑关系,判断各算法函数的逻辑关系是否需要矫正;
[0019] 若需要矫正,则对目标解决方案中存在问题的算法函数间关系参数进行识别;
[0020] 根据部署结果中的区域划分情况修改被识别的关系参数中逻辑节点间的关系格式和节点属性。
[0021] 优选的,对目标解决方案中的多个算法函数的逻辑关系进行重新配置,生成调试算法库具体为:
[0022] 重新配置边界处的算法函数间逻辑关系,生成调试算法库中各算法函数的逻辑关系包括依赖、共享和并行;
[0023] 当逻辑关系为依赖时,则根据上一算法函数的输出参数生成下一算法函数的输出参数;
[0024] 当逻辑关系为共享时,则将上一算法函数的输入参数与下一算法函数的输入参数进行同步;
[0025] 当逻辑关系为共行时,则将上一算法函数的输入参数、算子以及输出参数均与下一算法函数进行同步。
[0026] 优选的,还包括:
[0027] 实时监测输出的调试数据,并与预设的调试数据进行对比,其中预设的调试数据为根据调试算法库生成的视觉定位和切割制作方案下的调试数据;
[0028] 根据调试数据的对比结果判断是否需要对调试算法库进行调整,若需要重新调整调试算法库则再次配置解决方案中算法函数的逻辑关系。
[0029] 优选的,对切割后的小图进行标注分类之后,生成算法函数可以解析的训练集之前还包括:
[0030] 获取切割后的图片标签数据和图形数据,根据数据的字节属性对标签数据和图形数据进行强制格式校验;
[0031] 若格式校验结果不通过,则以预设格式模板对标签数据和图形数据进行修正和对齐。
[0032] 优选的,利用训练集生成并迭代调试模型具体为:
[0033] 将生成的训练集通过工具软件上传至云平台,并调取切割过程中的调试算法库;
[0034] 利用上一步生成的训练集对调试算法库进行训练,依次生成各个阶段下的调试模型;
[0035] 下载切割制作过程中适宜的调试模型训练在生成过程中进行更新迭代。
[0036] 优选的,还包括:
[0037] 实时监控训练进程,获取训练过程中的进度参数和效果参数;
[0038] 根据进度参数和效果参数实时生成训练任务监测可视化图表,监测可视化图表反馈指标包括标签检测、准确度、进度和损失。
[0039] 本申请第二方面一种半导体视觉检测快速部署和运维系统,包括存储器和处理器,所述存储器中包括半导体视觉检测快速部署和运维方法程序,所述程序被所述处理器执行时,实现如下步骤:
[0040] 按照预定的数据类型和格式解析算法函数的输入参数和输出结果,将算法函数的输入参数和输出结果进行可视化处理;
[0041] 根据可视化处理的部署结果对算法函数的逻辑关系进行归纳,并对目标解决方案中的多个算法函数的逻辑关系进行重新配置,生成调试算法库;
[0042] 利用调试算法库对半导体芯片的图像坐标与物理坐标进行视觉定位以及切割制作,并实时输出调试数据;
[0043] 对切割后的小图进行标注分类生成算法函数可以解析的训练集,利用训练集生成并迭代调试模型。
[0044] 优选的,解析算法函数的输入参数和输出结果,将算法函数的输入参数和输出结果进行可视化处理具体为:
[0045] 分别对算法函数的输入参数和输出结果按照数据类型和格式进行注册和定义;
[0046] 解析算法函数输入参数的数据类型生成对应的UI输入控件,根据UI输入控件采用图像交互模式加载算法函数的输出结果;
[0047] 解析算法函数输出结果的数据类型生成对应的绘制元素,利用绘制元素在图像上进行绘制。
[0048] 优选的,根据可视化处理的部署结果对算法函数的逻辑关系进行归纳,并对目标解决方案中的多个算法函数的逻辑关系进行重新配置具体为:
[0049] 根据部署结果中的区域划分情况获取边界处的算法函数间逻辑关系,判断各算法函数的逻辑关系是否需要矫正;
[0050] 若需要矫正,则对目标解决方案中存在问题的算法函数间关系参数进行识别;
[0051] 根据部署结果中的区域划分情况修改被识别的关系参数中逻辑节点间的关系格式和节点属性。
[0052] 优选的,对目标解决方案中的多个算法函数的逻辑关系进行重新配置,生成调试算法库具体为:
[0053] 重新配置边界处的算法函数间逻辑关系,生成调试算法库中各算法函数的逻辑关系包括依赖、共享和并行;
[0054] 当逻辑关系为依赖时,则根据上一算法函数的输出参数生成下一算法函数的输出参数;
[0055] 当逻辑关系为共享时,则将上一算法函数的输入参数与下一算法函数的输入参数进行同步;
[0056] 当逻辑关系为共行时,则将上一算法函数的输入参数、算子以及输出参数均与下一算法函数进行同步。
[0057] 优选的,还包括:
[0058] 实时监测输出的调试数据,并与预设的调试数据进行对比,其中预设的调试数据为根据调试算法库生成的视觉定位和切割制作方案下的调试数据;
[0059] 根据调试数据的对比结果判断是否需要对调试算法库进行调整,若需要重新调整调试算法库则再次配置解决方案中算法函数的逻辑关系。
[0060] 优选的,对切割后的小图进行标注分类之后,生成算法函数可以解析的训练集之前还包括:
[0061] 获取切割后的图片标签数据和图形数据,根据数据的字节属性对标签数据和图形数据进行强制格式校验;
[0062] 若格式校验结果不通过,则以预设格式模板对标签数据和图形数据进行修正和对齐。
[0063] 优选的,利用训练集生成并迭代调试模型具体为:
[0064] 将生成的训练集通过工具软件上传至云平台,并调取切割过程中的调试算法库;
[0065] 利用上一步生成的训练集对调试算法库进行训练,依次生成各个阶段下的调试模型;
[0066] 下载切割制作过程中适宜的调试模型训练在生成过程中进行更新迭代。
[0067] 优选的,还包括:
[0068] 实时监控训练进程,获取训练过程中的进度参数和效果参数;
[0069] 根据进度参数和效果参数实时生成训练任务监测可视化图表,监测可视化图表反馈指标包括标签检测、准确度、进度和损失。
[0070] 本申请第三方面提供一种计算机可读存储介质,所述计算机可读存储介质中包括半导体视觉检测快速部署和运维方法程序,所述程序被处理器执行时,实现所述半导体视觉检测快速部署和运维方法的步骤。
[0071] 与现有技术相比,本申请的有益效果如下:
[0072] 1、采用低代码的思想,通过配置的方式快速的实现机器视觉算法的调试可视化和逻辑流程,并以解决方案包的形式进行快速的部署,大大减少了视觉检测应用的开发周期和维护成本。
[0073] 2、通过将半导体封装和晶圆检测领域中大量人为操作的功能场景集成在一套软件平台中,规范了行业内的操作流程并进行强制校验,减少人为操作带来的失误,避免了许多误操作引发的问题,增强了生产阶段整个系统的稳定性。
[0074] 3、将云计算引入到半导体检测领域,对机台的配置参数,训练数据,训练模型进行暂存和版本的管理,保证了数据的安全性和准确性。通过Web技术开发可视化图表实时监测模型训练的过程,使得模型的迭代更加准确快速。

附图说明

[0075] 为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其它的附图。
[0076] 图1为本申请一种半导体视觉检测快速部署和运维的方法流程图;
[0077] 图2为本申请一种半导体视觉检测快速部署和运维的系统框图。

具体实施方式

[0078] 为使得本申请的目的、特征、优点能够更加的明显和易懂,对本申请实施例中的技术方案进行清楚、完整地描述,显然,下面所描述的实施例仅仅是本申请一部分实施例,而非全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本申请保护的范围。
[0079] 请参照图1,图1为本申请一种半导体视觉检测快速部署和运维的方法流程图。
[0080] 本申请实施例第一方面提供一种半导体视觉检测快速部署和运维的方法,包括如下步骤:
[0081] S102:按照预定的数据类型和格式解析算法函数的输入参数和输出结果,将算法函数的输入参数和输出结果进行可视化处理;
[0082] S104:根据可视化处理的部署结果对算法函数的逻辑关系进行归纳,并对目标解决方案中的多个算法函数的逻辑关系进行重新配置,生成调试算法库;
[0083] S106:利用调试算法库对半导体芯片的图像坐标与物理坐标进行视觉定位以及切割制作,并实时输出调试数据;
[0084] S108:对切割后的小图进行标注分类生成算法函数可以解析的训练集,利用训练集生成并迭代调试模型。
[0085] 需要说明的是,S102中实现了“解决方案配置器”的一种工具,采用了低代码的思想,可以通过配置迅速可视化出某算法的输入参数和输出结果,用来进行算法的快速验证、构建生产过程中的解决方案等功能。
[0086] S104中一个解决方案由多个标准算法组成,归纳了几种算法间常见的逻辑关系,并且通过可配置的方式方便地对多个算法进行逻辑组织。通过解决方案配置器配置好一套针对具体检测业务的检测算法方案和可视化调试方案后,会生成一系列参数并保存为Json格式的文件。在生成现场进行部署时,只需通过现场软件导入该解决方案包和相应的算法库,即可进行调试,运行。
[0087] S106和S108中,在工业检测领域除了需要对机器视觉算法进行可视化的调试外,还有许多其他的步骤需要去人为介入来辅助实现最终的功能。本申请实施例基于半导体封装和晶圆检测业务的应用,规范出一套流程并集成在一个软件平台当中。半导体芯片的尺寸随着工艺的发展预发精细,往往在一个相机视场内有多个晶粒,对整张进行切割来分离出单个的晶粒小图,之后的操作都是基于晶粒小图进行的。此处两个步骤都是基于可视化进行调试的,可以实时看到调试的结果。
[0088] 根据本申请实施例,解析算法函数的输入参数和输出结果,将算法函数的输入参数和输出结果进行可视化处理具体为:
[0089] 分别对算法函数的输入参数和输出结果按照数据类型和格式进行注册和定义;
[0090] 解析算法函数输入参数的数据类型生成对应的UI输入控件,根据UI输入控件采用图像交互模式加载算法函数的输出结果;
[0091] 解析算法函数输出结果的数据类型生成对应的绘制元素,利用绘制元素在图像上进行绘制。
[0092] 需要说明的是,此处的实现方式是通过软件程序设计中的工厂加反射模式。将自定义的数据类型反射到运行时的UI控件对象和绘制元素对象。输入参数和输出结果的数据类型分别为浮点数、数组、坐标点、图像模板等;点集、矩形集、轮廓等。
[0093] 根据本申请实施例,根据可视化处理的部署结果对算法函数的逻辑关系进行归纳,并对目标解决方案中的多个算法函数的逻辑关系进行重新配置具体为:
[0094] 根据部署结果中的区域划分情况获取边界处的算法函数间逻辑关系,判断各算法函数的逻辑关系是否需要矫正;
[0095] 若需要矫正,则对目标解决方案中存在问题的算法函数间关系参数进行识别;
[0096] 根据部署结果中的区域划分情况修改被识别的关系参数中逻辑节点间的关系格式和节点属性。
[0097] 根据本申请实施例,对目标解决方案中的多个算法函数的逻辑关系进行重新配置,生成调试算法库具体为:
[0098] 重新配置边界处的算法函数间逻辑关系,生成调试算法库中各算法函数的逻辑关系包括依赖、共享和并行;
[0099] 当逻辑关系为依赖时,则根据上一算法函数的输出参数生成下一算法函数的输出参数;
[0100] 当逻辑关系为共享时,则将上一算法函数的输入参数与下一算法函数的输入参数进行同步;
[0101] 当逻辑关系为共行时,则将上一算法函数的输入参数、算子以及输出参数均与下一算法函数进行同步。
[0102] 需要说明的是,依赖关系为一个算法的输入依赖另一个算法的输出。共享关系为两个算法共享同一个参数。并行关系为执行一个算法时并行地执行另一个算法。
[0103] 根据本申请实施例,还包括:
[0104] 实时监测输出的调试数据,并与预设的调试数据进行对比,其中预设的调试数据为根据调试算法库生成的视觉定位和切割制作方案下的调试数据;
[0105] 根据调试数据的对比结果判断是否需要对调试算法库进行调整,若需要重新调整调试算法库则再次配置解决方案中算法函数的逻辑关系。
[0106] 根据本申请实施例,对切割后的小图进行标注分类之后,生成算法函数可以解析的训练集之前还包括:
[0107] 获取切割后的图片标签数据和图形数据,根据数据的字节属性对标签数据和图形数据进行强制格式校验;
[0108] 若格式校验结果不通过,则以预设格式模板对标签数据和图形数据进行修正和对齐。
[0109] 根据本申请实施例,利用训练集生成并迭代调试模型具体为:
[0110] 将生成的训练集通过工具软件上传至云平台,并调取切割过程中的调试算法库;
[0111] 利用上一步生成的训练集对调试算法库进行训练,依次生成各个阶段下的调试模型;
[0112] 下载切割制作过程中适宜的调试模型训练在生成过程中进行更新迭代。
[0113] 根据本申请实施例,还包括:
[0114] 实时监控训练进程,获取训练过程中的进度参数和效果参数;
[0115] 根据进度参数和效果参数实时生成训练任务监测可视化图表,监测可视化图表反馈指标包括标签检测、准确度、进度和损失。
[0116] 在本申请另一实施例中,根据可视化处理的部署结果对算法函数的逻辑关系进行归纳,并对目标解决方案中的多个算法函数的逻辑关系进行重新配置具体为:
[0117] 绘制目标解决方案中融合多个算法函数后的可视化处理的部署结果,根据预设阈值对部署结果中的区域划分偏倚程度进行评价和分档;
[0118] 根据分档情况对不同档位下的相应算法函数的关系参数设置不同的权重系数;
[0119] 利用权重系数对关系参数中逻辑节点间的关系格式和节点属性进行调整。
[0120] 在本申请另一实施例中,还包括:
[0121] 实时监测迭代后的调试模型,获取训练过程中的进度参数和效果参数,并计算每个调试模型的准确度和损失数据;
[0122] 调取准确度和损失数据最优的调试模型发送至终端并自动完成部署。
[0123] 需要说明的是,本申请实施例中机器视觉算法的应用落地还可以使用市面上已有的商业软件进行快速开发,如通用的机器视觉算法库:Halcon,EVision,VisionMaster等。本申请实施例中的图像分类标注功能还可以使用标注工具软件,如labelimg,labelme等。
本申请实施例中通过云服务对机台的参数,训练集,模型等管理模式还可以基于文件的方式来管理。
[0124] 请参照图2,图2为本申请一种半导体视觉检测快速部署和运维的系统的框图。
[0125] 本申请实施例第二方面提供一种半导体视觉检测快速部署和运维系统,包括存储器21和处理器22,所述存储器21中包括半导体视觉检测快速部署和运维的方法程序,所述程序被所述处理器22执行时,实现如下步骤:
[0126] 按照预定的数据类型和格式解析算法函数的输入参数和输出结果,将算法函数的输入参数和输出结果进行可视化处理;
[0127] 根据可视化处理的部署结果对算法函数的逻辑关系进行归纳,并对目标解决方案中的多个算法函数的逻辑关系进行重新配置,生成调试算法库;
[0128] 利用调试算法库对半导体芯片的图像坐标与物理坐标进行视觉定位以及切割制作,并实时输出调试数据;
[0129] 对切割后的小图进行标注分类生成算法函数可以解析的训练集,利用训练集生成并迭代调试模型。
[0130] 需要说明的是,本申请实施例的半导体视觉检测快速部署和运维系统可以由以下模块配合实现:
[0131] 云平台功能模块:所有机台的信息由云平台进行统一的管理,可以实时监控各个机台的运行状况。并且以机台作为一个基础节点,在该节点下存储相应的数据。还可以将每个机台的解决方案,配置参数,运行日志等信息上传到云平台对应的机台节点下。由一个已经部署好的机台复制到其他机台时避免了人为的数据拷贝步骤,保证了数据的安全性和正确性。由于多个物料而导致多套配置参数时,由云平台负责暂存对应的型号数据,避免数据的丢失和异常导致的损坏。
[0132] 模型训练模块:可以将分类好的图片数据集上传到云平台并开启训练,支持断点续传,数据校验和数据集版本管理。通过可视化图表的方式实时监控训练的进度,训练的标签,训练的精度,训练的损失等数据。下载训练好的模型并一键部署在本地。
[0133] 根据本申请实施例,解析算法函数的输入参数和输出结果,将算法函数的输入参数和输出结果进行可视化处理具体为:
[0134] 分别对算法函数的输入参数和输出结果按照数据类型和格式进行注册和定义;
[0135] 解析算法函数输入参数的数据类型生成对应的UI输入控件,根据UI输入控件采用图像交互模式加载算法函数的输出结果;
[0136] 解析算法函数输出结果的数据类型生成对应的绘制元素,利用绘制元素在图像上进行绘制。
[0137] 根据本申请实施例,根据可视化处理的部署结果对算法函数的逻辑关系进行归纳,并对目标解决方案中的多个算法函数的逻辑关系进行重新配置具体为:
[0138] 根据部署结果中的区域划分情况获取边界处的算法函数间逻辑关系,判断各算法函数的逻辑关系是否需要矫正;
[0139] 若需要矫正,则对目标解决方案中存在问题的算法函数间关系参数进行识别;
[0140] 根据部署结果中的区域划分情况修改被识别的关系参数中逻辑节点间的关系格式和节点属性。
[0141] 根据本申请实施例,对目标解决方案中的多个算法函数的逻辑关系进行重新配置,生成调试算法库具体为:
[0142] 重新配置边界处的算法函数间逻辑关系,生成调试算法库中各算法函数的逻辑关系包括依赖、共享和并行;
[0143] 当逻辑关系为依赖时,则根据上一算法函数的输出参数生成下一算法函数的输出参数;
[0144] 当逻辑关系为共享时,则将上一算法函数的输入参数与下一算法函数的输入参数进行同步;
[0145] 当逻辑关系为共行时,则将上一算法函数的输入参数、算子以及输出参数均与下一算法函数进行同步。
[0146] 根据本申请实施例,还包括:
[0147] 实时监测输出的调试数据,并与预设的调试数据进行对比,其中预设的调试数据为根据调试算法库生成的视觉定位和切割制作方案下的调试数据;
[0148] 根据调试数据的对比结果判断是否需要对调试算法库进行调整,若需要重新调整调试算法库则再次配置解决方案中算法函数的逻辑关系。
[0149] 根据本申请实施例,对切割后的小图进行标注分类之后,生成算法函数可以解析的训练集之前还包括:
[0150] 获取切割后的图片标签数据和图形数据,根据数据的字节属性对标签数据和图形数据进行强制格式校验;
[0151] 若格式校验结果不通过,则以预设格式模板对标签数据和图形数据进行修正和对齐。
[0152] 根据本申请实施例,利用训练集生成并迭代调试模型具体为:
[0153] 将生成的训练集通过工具软件上传至云平台,并调取切割过程中的调试算法库;
[0154] 利用上一步生成的训练集对调试算法库进行训练,依次生成各个阶段下的调试模型;
[0155] 下载切割制作过程中适宜的调试模型训练在生成过程中进行更新迭代。
[0156] 根据本申请实施例,还包括:
[0157] 实时监控训练进程,获取训练过程中的进度参数和效果参数;
[0158] 根据进度参数和效果参数实时生成训练任务监测可视化图表,监测可视化图表反馈指标包括标签检测、准确度、进度和损失。
[0159] 在本申请另一实施例中,根据可视化处理的部署结果对算法函数的逻辑关系进行归纳,并对目标解决方案中的多个算法函数的逻辑关系进行重新配置具体为:
[0160] 绘制目标解决方案中融合多个算法函数后的可视化处理的部署结果,根据预设阈值对部署结果中的区域划分偏倚程度进行评价和分档;
[0161] 根据分档情况对不同档位下的相应算法函数的关系参数设置不同的权重系数;
[0162] 利用权重系数对关系参数中逻辑节点间的关系格式和节点属性进行调整。
[0163] 在本申请另一实施例中,还包括:
[0164] 实时监测迭代后的调试模型,获取训练过程中的进度参数和效果参数,并计算每个调试模型的准确度和损失数据;
[0165] 调取准确度和损失数据最优的调试模型发送至终端并自动完成部署。
[0166] 本申请实施例第三方面提供一种计算机可读存储介质,所述计算机可读存储介质中包括半导体视觉检测快速部署和运维的方法程序,所述程序被处理器执行时,实现所述半导体视觉检测快速部署和运维方法的步骤,具体参见图1对方法步骤的描述,在此不再赘述。
[0167] 在本申请所提供的几个实施例中,应该理解到,所揭露的设备和方法,可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,如:多个单元或组件可以结合,或可以集成到另一个系统,或一些特征可以忽略,或不执行。另外,所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口,设备或单元的间接耦合或通信连接,可以是电性的、机械的或其它形式的。
[0168] 上述作为分离部件说明的单元可以是、或也可以不是物理上分开的,作为单元显示的部件可以是、或也可以不是物理单元;既可以位于一个地方,也可以分布到多个网络单元上;可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
[0169] 另外,在本发明各实施例中的各功能单元可以全部集成在一个处理单元中,也可以是各单元分别单独作为一个单元,也可以两个或两个以上单元集成在一个单元中;上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
[0170] 本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:移动存储设备、只读存储器(ROM,Read‑Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0171] 或者,本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括:移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
[0172] 以上所述,以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。