基本信息:
- 专利标题： 一种数据处理方法、装置、设备、介质及程序产品
- 申请号：CN202411876220.0 申请日：2024-12-19
- 公开(公告)号：CN119311737B 公开(公告)日：2025-03-21
- 发明人： 贾敬崧 , 李柏宏 , 吴韶华
- 申请人： 浪潮电子信息产业股份有限公司
- 申请人地址： 山东省济南市高新区草山岭南路801号9层东侧
- 专利权人： 浪潮电子信息产业股份有限公司
- 当前专利权人： 浪潮电子信息产业股份有限公司
- 当前专利权人地址： 山东省济南市高新区草山岭南路801号9层东侧
- 代理机构： 北京集佳知识产权代理有限公司
- 代理人： 李亚茹
- 主分类号： G06F16/2455
- IPC分类号： G06F16/2455 ; G06N5/04
摘要：
本申请公开了计算机技术领域内的一种数据处理方法、装置、设备、介质及程序产品。本申请在模型推理的初始化阶段，创建第一缓存区和第二缓存区；若接收到模型推理请求，则将模型推理请求的预处理阶段的上下文信息存储至第一缓存区；基于第一缓存区中的上下文信息，执行模型推理请求的解码阶段中的各个解码操作；其中，将前一解码操作的上下文信息存储至第二缓存区，基于第二缓存区中的上下文信息执行前一解码操作的后一解码操作。该方案基于以空间换推理效率的原则，利用两个缓存区分别存储预处理阶段和解码阶段的上下文信息，提升了模型推理性能和效率，无需更改模型结构，可使模型快速上线应用。
公开/授权文献:
- CN119311737A 一种数据处理方法、装置、设备、介质及程序产品 公开/授权日：2025-01-14
IPC结构图谱:
| G | 物理 |
| --G06 | 计算；推算；计数 |
| ----G06F | 电数字数据处理 |
| ------G06F16/00 | 信息检索；数据库结构；文件系统结构 |
| --------G06F16/10 | .文件系统；文件服务器 |
| ----------G06F16/24 | ..查询 |
| ------------G06F16/245 | ...查询过程 |
| --------------G06F16/2455 | ....查询执行 |