本发明公开了一种晶圆缺陷未知类别检测及分类的方法及系统，涉及半导体工业缺陷检测领域，方法包括：使用晶圆图预处理模块，将晶圆生产线AOI设备获取的晶圆图数据转换为用于模型训练的数据集数据；建立基于增量学习方法的卷积神经网络模型；训练卷积神经网络模型；通过TensorRT技术对模型原有的网络结构进行参数压缩、维度缩减操作；部署压缩后的模型至半导体工厂晶圆生产线AOI中，并实现对未知缺陷类别的准确分类。系统包括基于ResNet50的卷积神经网络结构模型；在线的增量学习PathInt策略；损失函数调整模块以及增量学习模型。本发明提高了晶圆表面缺陷检测的准确性和效率。
1.一种晶圆缺陷未知类别检测及分类的方法，其特征在于，包括以下步骤：(a) 使用晶圆图预处理模块，将晶圆生产线AOI设备获取的晶圆图数据转换为用于模型训练的数据集数据；
(b) 建立基于增量学习方法的卷积神经网络模型；该模型包括：(i) 基于ResNet50的卷积神经网络结构模型；
(iii) 损失函数保持接近旧缺陷类型的学习参数；
(i) 对步骤(a) 中的基础晶圆缺陷数据集进行重做，通过重排列及拆分方式生成多种具有差异性结构的新晶圆图数据集，并按照缺陷类型进行随机划分；
(ii) 使用多种数据集训练模型，将缺陷类型增量式输入模型进行训练与测试；
(iii) 使用轻量级的缓存保存已知缺陷，保持每个类别存在等量的N个缺陷样本；
(iv) 多次重复模型训练及测试过程，直到获得稳定的模型；
(d) 通过TensorRT技术对模型原有的网络结构进行参数压缩、维度缩减操作；
(e) 部署压缩后的模型至半导体工厂晶圆生产线AOI中，并实现对未知缺陷类别的准确分类。
2.根据权利要求1所述方法，其特征在于，步骤(a)包括：收集包含环形、划痕的晶圆图，将所有晶圆图统一尺寸，并通过图像压缩、增强和降噪方式对晶圆图进行图像处理，得到包含缺陷的标准化晶圆图；根据不同缺陷类型的显著特征，给图像数据添加相应标签，制作成晶圆缺陷数据集。
3.根据权利要求1所述方法，其特征在于，步骤(b)(ii)中，对旧缺陷任务分类有重大影响的权重进行约束，在学习第二缺陷类型时，在参数空间中计算使损失函数L达到最小值的学习轨迹，同时保持在第一缺陷类型的低损失区域，从而保护模型在第一缺陷类型上的表现。
步骤(c)(iv)中，当学习到第i个缺陷类型时，模型将损失函数保持为接近旧缺陷类型的学习参数。
步骤(c)(iii)中，使用轻量级的缓存保存已知缺陷；每个类别等量保存N个缺陷样本，当检测第i个样本时，如果缺陷已知则加入到对应类别，若缺陷未知，则创建新的缺陷类别；
当第j个缺陷类别的样本大于N时，则删除旧样本，保持每个类别存在等量的N个缺陷样本。
6.根据权利要求1所述方法，其特征在于，步骤(c)(i)中的基础晶圆缺陷数据集通过重排列及拆分方式生成多种具有差异性结构的新晶圆图数据集。
7.一种晶圆缺陷未知类别检测及分类的系统，其特征在于，包括：晶圆图预处理模块，用于将晶圆生产线AOI设备获取的晶圆图数据转换为用于模型训练的数据集数据；
用于处理并输入模型进行增量式训练及测试的模型训练模块；
TensorRT优化模块，用于对训练好的模型进行参数压缩、维度缩减；
部署模块，用于将优化后的模型部署至半导体工厂晶圆生产线AOI设备，进行实时采集缺陷晶圆图并进行图像预处理和增量式学习；
其中基于增量学习方法的卷积神经网络模型包括：基于ResNet50的卷积神经网络结构模型；
在线的增量学习PathInt策略，用于对模型中的权重进行约束；
损失函数调整模块，用于在增量式学习新缺陷类型时保持接近旧缺陷类型的学习参数；
数据集处理模块，用于对基础晶圆缺陷数据集进行重做；具体包括通过重排列及拆分方式生成多种具有差异性结构的新晶圆图数据集，并按照缺陷类型进行随机划分；
多数据集训练模块，用于使用多种数据集训练模型，将缺陷类型增量式输入模型进行训练与测试；
轻量级缓存模块，用于保存已知缺陷，每个类别等量保存N个缺陷样本；
模型评估模块，用于多次重复模型训练及测试过程，并对每次模型的分类结果进行评估。
一种晶圆缺陷未知类别检测及分类的方法及系统
技术领域
[0001] 本发明涉及半导体工业缺陷检测领域，更具体地说，涉及一种晶圆缺陷未知类别检测及分类的方法及系统。
背景技术
[0002] 晶圆作为现代半导体产业的关键原材料之一，在人工智能、电子产品、汽车电子等领域的芯片需求快速增长的背景下，其短缺问题已成为全球广泛关注的热点科技议题。因此，提高半导体产业的总体产能已成为新的发展目标。其中，晶圆表面缺陷是影响产量的主要因素之一。通过对晶圆表面缺陷进行准确识别和分类，可以防止有缺陷的晶圆进入后续制程，并帮助专业人员根据可靠的结果定位故障环节，找出制造系统中存在的故障和可优化环节。
[0003] 近年来，随着晶圆生产技术的不断进步和制造设备的更新换代，以及复杂精细的制造工艺，晶圆表面缺陷的形态越发不规则且随机分布。相较于传统的人工检测方法，自动光学检测（AOI）设备大大缩短了缺陷识别时间，并显著提高了识别准确率。然而，对于晶圆制造过程中出现的未知缺陷，AOI设备因技术局限性而无法进行准确分类。
[0004] 为此，迫切需要在晶圆表面缺陷检测与分类过程中采用深度学习和增量学习方法，以实现对未知缺陷的快速、准确的自动化检测和分类。这样不仅能避免半导体次品的产生，降低因缺陷导致的制造成本，还有助于优化和调整晶圆制造系统。最终，这将促进半导体制造业的总体良率和产量的提升。
发明内容
[0005] 本发明要解决的技术问题是提供一种晶圆缺陷未知类别检测及分类的方法及系统，以解决背景技术中提到的问题。
[0006] 为了达到上述目的，本发明采取以下技术方案：
[0007] 一种晶圆缺陷未知类别检测及分类的方法，包括以下步骤：
[0008] (a) 使用晶圆图预处理模块，将晶圆生产线AOI设备获取的晶圆图数据转换为用于模型训练的数据集数据；
[0009] (b) 建立基于增量学习方法的卷积神经网络模型；该模型包括：
[0010] (i) 基于ResNet50的卷积神经网络结构模型；
[0011] (ii) 在线的增量学习PathInt策略；
[0012] (iii) 损失函数保持接近旧缺陷类型的学习参数；
[0013] (iv) 增量学习模型，用于未知缺陷的分类；
[0014] (c) 训练卷积神经网络模型，包括：
[0015] (i) 对基础晶圆缺陷数据集进行重做，并按照缺陷类型进行随机划分；
[0016] (ii) 使用多种数据集训练模型，将缺陷类型增量式输入模型进行训练与测试；
[0017] (iii) 使用轻量级的缓存保存已知缺陷，保持每个类别存在等量的N个缺陷样本；
[0018] (iv) 多次重复模型训练及测试过程，直到获得稳定的模型；
[0019] (d) 通过TensorRT技术对模型原有的网络结构进行参数压缩、维度缩减操作；
[0020] (e) 部署压缩后的模型至半导体工厂晶圆生产线AOI中，并实现对未知缺陷类别的准确分类。
[0021] 优选的，步骤(a)包括：收集包含环形、划痕的晶圆图，将所有晶圆图统一尺寸，并通过图像压缩、增强和降噪方式对晶圆图进行图像处理，得到包含缺陷的标准化晶圆图；根据不同缺陷类型的显著特征，给图像数据添加相应标签，制作成晶圆缺陷数据集。
[0022] 优选的，步骤(b)(ii)中，对旧缺陷任务分类有重大影响的权重进行约束，在学习第二缺陷类型时，在参数空间中计算使损失函数L达到最小值的学习轨迹，同时保持在第一缺陷类型的低损失区域，从而保护模型在第一缺陷类型上的表现。
[0023] 优选的，步骤(c)(iii)中，当学习到第i个缺陷类型时，模型将损失函数保持为接近旧缺陷类型的学习参数。
[0024] 优选的，其特征在于：
[0025] 步骤(c)(iv)中，使用轻量级的缓存保存已知缺陷；每个类别等量保存N个缺陷样本，当检测第i个样本时，如果缺陷已知则加入到对应类别，若缺陷未知，则创建新的缺陷类别；当第j个缺陷类别的样本大于N时，则删除旧样本，保持每个类别存在等量的N个缺陷样本。
[0026] 优选的，步骤(c)(i)中的基础晶圆缺陷数据集通过重排列及拆分方式生成多种具有差异性结构的新晶圆图数据集。
[0027] 本发明还公开一种晶圆缺陷未知类别检测及分类的系统，包括：
[0028] 晶圆图预处理模块，用于将晶圆生产线AOI设备获取的晶圆图数据转换为用于模型训练的数据集数据；
[0029] 基于增量学习方法的卷积神经网络模型；
[0030] 用于处理并输入模型进行增量式训练及测试的模型训练模块；
[0031] TensorRT优化模块，用于对训练好的模型进行参数压缩、维度缩减；
[0032] 部署模块，用于将优化后的模型部署至半导体工厂晶圆生产线AOI设备，进行实时采集缺陷晶圆图并进行图像预处理和增量式学习。
[0033] 优选的，其中基于增量学习方法的卷积神经网络模型包括：
[0034] 基于ResNet50的卷积神经网络结构模型；
[0035] 在线的增量学习PathInt策略，用于对模型中的权重进行约束；PathInt策略的技术内容可参见论文：On Learning the Geodesic Path for Incremental Learning （https://arxiv.org/abs/2104.08572）；
[0036] 损失函数调整模块，用于在增量式学习新缺陷类型时保持接近旧缺陷类型的学习参数；
[0037] 增量学习模型，用于未知缺陷的分类。
[0038] 优选的，所述模型训练模块包括：
[0039] 数据集处理模块，用于对基础晶圆缺陷数据集进行重做；
[0040] 多数据集训练模块，用于使用多种数据集训练模型，将缺陷类型增量式输入模型进行训练与测试；
[0041] 轻量级缓存模块，用于保存已知缺陷，每个类别等量保存N个缺陷样本；
[0042] 模型评估模块，用于多次重复模型训练及测试过程，并对每次模型的分类结果进行评估。
[0043] 本发明相对于现有技术的优点在于：
[0044] 1、本发明采用基于增量学习算法的深度学习、人工智能应用和计算机视觉技术，实现了对晶圆未知缺陷的准确检测和分类，提高了晶圆表面缺陷检测的准确性和效率。
[0045] 2、针对晶圆制造过程中存在的未知缺陷检测与分类问题，本发明提出了一种基于增量学习的晶圆未知缺陷自动检测与分类方法，与行业现有解决方案相比，该方法能够更有效地解决未知缺陷的检测和分类问题。
[0046] 3、本发明采用在线的增量学习方法建立卷积神经网络模型，通过新提出的轻量缓存机制和复合训练方式，能够快速达到模型的最佳表现，实现对未知缺陷类别的高效学习和分类。
[0047] 4、本发明训练好的模型经过加速优化后，可部署至晶圆生产线的AOI设备，实时采集缺陷晶圆图并进行增量式学习。通过在线更新模型，实现对未知缺陷类型的准确分类，从而促进晶圆制造过程的优化。
[0048] 5、本发明的晶圆未知缺陷自动检测与分类方法有助于提高晶圆产品的良率，大幅降低半导体制造成本，为半导体行业带来实际经济效益。
[0049] 综上所述，本发明通过基于增量学习的晶圆表面缺陷分类方法，有效地解决了晶圆制造过程中未知缺陷检测与分类问题，提高了晶圆产品的良率和降低了半导体制造成本。
附图说明
[0050] 图1是本发明方法的总体流程图；
[0051] 图2是本发明通过增量学习建立晶圆表面缺陷分类模型的流程图。实施方式
[0052] 下面结合附图对本发明的具体实施方式作描述。
[0053] 如图1所示，本发明方法包括以下步骤：
[0054] 步骤S1：使用晶圆图预处理模块，将晶圆生产线AOI设备获取的晶圆图数据转换为用于模型训练的数据集数据。收集包含环形、划痕等常见缺陷类型的晶圆图，将所有晶圆图统一尺寸，并通过图像压缩、增强和降噪等方式对晶圆图进行图像处理，得到包含缺陷的标准化晶圆图。最后根据不同缺陷类型的显著特征，给图像数据添加相应标签，制作成晶圆缺陷数据集。
[0055] 步骤S2：建立基于增量学习方法的卷积神经网络模型，该模型基于深度学习及计算机视觉技术，对持续出现的晶圆未知缺陷类型进行分类，通过增量学习建立晶圆表面缺陷分类模型步骤如图2所示：
[0056] S21：建立基于ResNet50的卷积神经网络结构模型，用于晶圆缺陷类别分类。
[0057] S22：采用在线的增量学习PathInt策略，对模型中对旧缺陷任务分类有重大影响的权重进行约束，在学习第二缺陷类型时，在参数空间中计算使损失函数L达到最小值的学习轨迹，同时保持在第一缺陷类型的低损失区域，从而保护在模型在第一缺陷类型上的表现。该计算路径积分可表示为：
[0058]
[0059] 其中g(θ(t))表示在学习过程中，参数θ在时刻t的梯度，θ(t)表示在时刻t的模型参数。
[0060] t1表示学习过程的开始时间。
[0061] t2表示学习过程的结束时间。
[0062] θ(t)'表示在时刻t的参数θ对t的导数。
[0063] C表示学习轨迹积分路径。
[0064] dθ与dt分别表示上述公式中左边积分与右边积分的积分变量。
[0065] S23：在S22的基础上，为了让模型在增量式学习新缺陷类型时不遗忘旧缺陷类型，当学习到第i个缺陷类型时，模型将损失函数保持为接近旧缺陷类型的学习参数。在该过程中，可将该问题的损失函数表示为：
[0066] Li:表示包含i个缺陷类型的损失函数。
[0067] Li‑1表示包含i‑1个缺陷类型的损失函数。
[0068] θki‑1表示在第i ‑1个缺陷类型上的第k个参数。
[0069] θki表示在第i 个缺陷类型上的第k个参数。
[0070] Ωik表示基于路径积分的在第i 个缺陷类型上的第k个参数的权值重要性。
[0071] S24：在S23的相关函数和目标的基础上，建立增量学习模型，用于未知缺陷的分类。
[0072] 步骤S3：模型结构建立后，开始训练模型，将步骤S1采集到的晶圆图数据集再次制作及划分，输入模型进行增量式训练及测试。训练过程中，选取部分旧缺陷类型样本保存至轻量化缓存中，并与新缺陷样本类别混合后用在模型更新过程中。直至对增量式输入的缺陷类型进行准确分类，晶圆未知缺陷分类模型的训练步骤如下：
[0073] S31：对步骤S1中的基础晶圆缺陷数据集进行重做，通过重排列及拆分等不同方式生成多种具有差异性结构的新晶圆图数据集，并按照缺陷类型进行随机划分。
[0074] S32：使用多种数据集训练模型，将缺陷类型增量式输入模型进行训练与测试，并不断重复使网络模型参数最优。
[0075] S33：在S32的基础上，为了让模型在增量式学习新缺陷类型时不遗忘旧缺陷类型，S33使用轻量级的缓存保存已知缺陷。每个类别等量保存N个缺陷样本。当检测第i个样本时，如果缺陷已知则加入到对应类别，缺陷未知则创建新的缺陷类别。当第j个缺陷类别的样本大于N时，则删除旧样本，保持每个类别存在等量的N个缺陷样本。
[0076] S34:针对S33中缓存中保留的数据，S34多次重复模型训练及测试过程，并对每次模型的分类结果进行评估，直到获得稳定的模型。
[0077] 步骤S4：模型训练完成后，通过TensorRT技术对模型原有的网络结构进行参数压缩、维度缩减等操作，以提高网络的训练和推理速度，同时保持模型的鲁棒性以及分类结果的准确性，最终使得等模型评估中的各项指标，符合半导体行业生产场景中的实际需求。
[0078] 步骤S5：经过步骤S4压缩后的模型可部署至半导体工厂晶圆生产线AOI中，AOI实时采集缺陷晶圆图后，进行图像预处理并输入模型进行增量式学习。训练好的模型在线更新后，可实现对此未知缺陷类别的准确分类。
[0079] 本发明的基于增量学习的晶圆表面缺陷分类方法，结合深度学习、人工智能应用及计算机视觉技术，实现对晶圆未知缺陷的准确检测和分类。通过在线的增量学习方法、轻量化缓存机制和复合训练方式，训练好的模型能够快速达到最佳性能。在晶圆生产线AOI设备中部署经过优化加速的模型，可以实时采集并识别未知缺陷类型，对新出现的未知缺陷类别进行快速更新，从而提高晶圆制造过程的优化、提高产品良率，大幅降低半导体制造成本。
[0080] 通过上述具体实施方式，本发明提供的基于增量学习的晶圆表面缺陷分类方法，充分利用深度学习、人工智能应用和计算机视觉技术，为晶圆制造过程中未知缺陷的检测与分类提供了一种有效、准确的解决方案。本方法针对晶圆制造过程中存在的未知缺陷检测与分类问题，以及行业现有解决方案的局限性和不能有效解决这一问题的现状，提出了一种基于增量学习的晶圆未知缺陷自动检测与分类方法，从而为半导体制造行业提供了一个创新性的技术解决方案。
[0081] 以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。
