基本信息:
- 专利标题： 通过参数外推增强大模型遗忘的辅助方法及系统
- 申请号：CN202510360894.3 申请日：2025-03-26
- 公开(公告)号：CN119886361A 公开(公告)日：2025-04-25
- 发明人： 陈竹敏 , 王文宇 , 任鹏杰 , 张孟奇 , 任昭春
- 申请人： 山东大学
- 申请人地址： 山东省济南市历城区山大南路27号
- 专利权人： 山东大学
- 当前专利权人： 山东大学
- 当前专利权人地址： 山东省济南市历城区山大南路27号
- 代理机构： 济南圣达知识产权代理有限公司
- 代理人： 祖之强
- 主分类号： G06N5/04
- IPC分类号： G06N5/04 ; G06N3/096 ; G06N3/084 ; G06F21/62
摘要：
本发明属于人工智能领域中的大语言模型遗忘技术领域。提供了一种通过参数外推增强大模型遗忘的辅助方法及系统，通过梯度上升对目标遗忘数据集进行遗忘操作；在遗忘操作结束后，在遗忘操作的多个训练轮次中，选择遗忘效果与模型效用之间平衡最优的模型参数，计算遗忘过程中的参数更新向量；根据平衡最优的模型参数以及所述参数更新向量，通过参数外推放大参数更新向量，以将遗忘效果扩展到与目标遗忘数据集相关的知识上；本发明利用参数外推技术，放大了模型在遗忘目标数据时对相关知识的遗忘效果，从而实现更彻底的遗忘，无需额外的训练数据即可显著提升遗忘效果，并在遗忘质量和模型效用之间实现了更好的平衡。
IPC结构图谱:
| G | 物理 |
| --G06 | 计算；推算；计数 |
| ----G06N | 基于特定计算模型的计算机系统 |
| ------G06N5/00 | 利用基于知识的模式的计算机系统 |
| --------G06N5/04 | .推理方法或设备 |