一种基于大数据调整NLP模型容量的方法

摘要

本发明公开了一种基于大数据调整NLP模型容量的方法，包括：获取NLP模型的模型服务历史QPS数据构建NLP容量预测模型，其中，NLP容量预测模型通过NLP模型的模型服务历史QPS数据、模型服务历史QPS数据对应的时间点建立拟合曲线，采用最小二乘法拟合拟合曲线获得；获取NLP模型的模型服务当前时刻的最大可服务的QPS数作为第一QPS阈值，其中，第一QPS阈值通过NLP模型的最大可承受请求数、NLP模型处理每个请求的时间获得；根据NLP容量预测模型计算当前时刻NLP模型的模型服务QPS作为第一QPS；判断第一QPS是否大于第一QPS阈值，如果是，扩充NLP模型的模型服务容量。

权利要求

1.一种基于大数据调整NLP模型容量的方法，其特征是，所述方法包括：获取NLP模型的模型服务历史QPS数据构建NLP容量预测模型，其中，所述容量预测模型通过所述NLP模型的模型服务历史QPS数据、所述模型服务历史QPS数据对应的时间点建立拟合曲线，采用最小二乘法拟合所述拟合曲线获得；

获取所述NLP模型的模型服务当前时刻的最大可服务的QPS数作为第一QPS阈值，其中，所述第一QPS阈值通过所述NLP模型的最大可承受请求数、所述NLP模型处理每个请求的时间获得；

根据所述NLP容量预测模型计算当前时刻所述NLP模型的模型服务QPS作为第一QPS；

判断所述第一QPS是否大于所述第一QPS阈值，如果是，扩充所述NLP模型的模型服务容量。

2.根据权利要求1所述的一种基于大数据调整NLP模型容量的方法，其特征是，当所述第一QPS不大于所述第一QPS阈值时，所述方法还包括：计算当前时刻后第一预设时间段内的每一个时间节点在所述拟合曲线函数上的导数之和，其中，所述时间节点为所述第一预设时间段内相隔固定时间段的时间点；

当所述导数之和大于0时，获取所述第一预设时间段内所述NLP容量预测模型的最大可服务的QPS数作为第二QPS；

当所述第二QPS大于所述第一QPS阈值时，扩充所述NLP模型的模型服务容量。

3.根据权利要求2所述的一种基于大数据调整NLP模型容量的方法，其特征是，当所述导数之和不大于0时，不扩充所述NLP模型的模型服务容量。

4.根据权利要求2所述的一种基于大数据调整NLP模型容量的方法，其特征是，当所述第二QPS不大于所述第一QPS阈值时，不扩充所述NLP模型的模型服务容量。

说明书

一种基于大数据调整NLP模型容量的方法

技术领域

[0001] 本发明涉及NLP模型领域，尤其涉及一种基于大数据调整NLP模型容量的方法。

背景技术

[0002] 随着目前AI技术的发展，NLP相关技术的普及，在短短的几年里涌现了CNN、RNN、Bert等NLP模型。然而，相比于NLP模型的快速发展，配套于NLP相关技术的工程化设施相对较少，特别是自动化调整NLP模型容量这一方面更是欠缺。

发明内容

[0003] 本发明要解决的技术问题，在于提供一种基于大数据调整NLP模型容量的方法，以解决目前NLP模型在训练完成后，生产上投产时NLP模型的服务容量无法动态规划的技术问题。

[0004] 为实现上述目的，本发明采用下述技术方案：

[0005] 本发明提供一种基于大数据调整NLP模型容量的方法，所述方法包括：

[0006] 获取NLP模型的模型服务历史QPS数据构建NLP容量预测模型，其中，所述NLP容量预测模型通过所述NLP模型的模型服务历史QPS数据、所述模型服务历史QPS数据对应的时间点建立拟合曲线，采用最小二乘法拟合所述拟合曲线获得；

[0007] 获取所述NLP模型的模型服务当前时刻的最大可服务的QPS数作为第一QPS阈值，其中，所述第一QPS阈值通过所述NLP模型的最大可承受请求数、所述NLP模型处理每个请求的时间获得；

[0008] 根据所述NLP容量预测模型计算当前时刻所述NLP模型的模型服务QPS作为第一QPS；

[0009] 判断所述第一QPS是否大于所述第一QPS阈值，如果是，扩充所述NLP模型的模型服务容量。

[0010] 作为优选，当所述第一QPS不大于所述第一QPS阈值时，所述方法还包括：

[0011] 计算当前时刻后第一预设时间段内的每一个时间节点在所述拟合曲线函数上的导数之和，其中，所述时间节点为所述第一预设时间段内相隔固定时间段的时间点；

[0012] 当所述导数之和大于0时，获取所述第一预设时间段内所述NLP容量预测模型的最大可服务的QPS数作为第二QPS；

[0013] 当所述第二QPS大于所述第一QPS阈值时，扩充所述NLP模型的模型服务容量。

[0014] 作为优选，当所述导数之和不大于0时，不扩充所述NLP模型的模型服务容量。

[0015] 作为优选，当所述第二QPS不大于所述第一QPS阈值时，不扩充所述NLP模型的模型服务容量。

[0016] 本发明的有益效果是：

[0017] 本发明提供一种基于大数据调整NLP模型容量的方法，以解决目前NLP模型在训练完成后，生产上投产时NLP模型的服务容量无法动态规划的技术问题，提升NLP模型服务扩容时的服务平滑度以及提升服务资源的利用率。

附图说明

[0018] 图1为本发明本发明实施例提供的一种基于大数据调整NLP模型容量的方法的流程示意图；

[0019] 图2为本发明本发明实施例提供的一种基于大数据调整NLP模型容量的方法的流程示意图。

具体实施方式

[0020] 下面通过具体实施例，并结合附图，对本发明的技术方案作进一步的具体描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

[0021] 解决目前NLP模型在训练完成后，生产上投产时NLP模型的服务容量无法动态规划的技术问题，本发明实施例提供一种基于大数据调整NLP模型容量的方法。

[0022] 以下结合附图，详细说明本发明中各实施例提供的技术方案。

[0023] 请参阅附图1，其示出了本发明实施例提供的一种基于大数据调整NLP模型容量的方法的流程示意图，所述方法包括：

[0024] S101，获取NLP模型的模型服务历史QPS数据构建NLP容量预测模型；

[0025] 其中，所述NLP容量预测模型通过所述NLP模型的模型服务历史QPS数据、所述模型服务历史QPS数据对应的时间点建立拟合曲线，采用最小二乘法拟合所述拟合曲线获得。

[0026] 可以理解，获取任意一个NLP模型的模型服务历史QPS数据，包括时间点、时间点对应的QPS数据，根据所述模型服务历史QPS数据建立拟合曲线，并采用最小二乘法拟合所述拟合曲线获得该NLP模型的NLP容量预测模型。

[0027] S102，获取所述NLP模型的模型服务当前时刻的最大可服务的QPS数作为第一QPS阈值；

[0028] 其中，所述第一QPS阈值通过所述NLP模型的最大可承受请求数(并发量)、所述NLP模型处理每个请求的时间获得。

[0029] 可以理解，第一QPS阈值为NLP模型的模型服务当前时刻的最大可服务的QPS，所述第一QPS阈值＝NLP模型的最大可承受请求数/NLP模型处理每个请求的时间，NLP模型处理每个请求的时间可以通过计算处理所有请求的平均时间获得。

[0030] S103，根据所述NLP容量预测模型计算当前时刻所述NLP模型的模型服务QPS作为第一QPS；

[0031] 将当前时刻输入所述NLP容量预测模型中进行计算，获得当前时刻对应的模型服务QPS作为第一QPS。

[0032] S104，判断所述第一QPS是否大于所述第一QPS阈值；

[0033] S105，如果是，扩充所述NLP模型的模型服务容量。

[0034] 可以理解，上述实施例提供的一种基于大数据调整NLP模型容量的方法利用历史QPS数据建立NLP容量预测模型，基于当前时刻计算NLP模型的模型服务QPS与NLP模型的最大可承受请求数的关系，以决策NLP模型是否进行扩容。

[0035] 针对步骤S104，请参阅附图2，其示出了本发明实施例提供的一种基于大数据调整NLP模型容量的方法的流程示意图，当所述第一QPS不大于所述第一QPS阈值时，所述方法还包括：

[0036] S106，计算当前时刻后第一预设时间段内的每一个时间节点在所述拟合曲线函数上的导数之和；

[0037] 其中，所述时间节点为所述第一预设时间段内相隔固定时间段的时间点，例如在当前时刻后30S内的每一个时间节点在所述拟合曲线函数上的导数之和，当前时刻为0时0秒，每一个时间节点之间的时间间隔为1S，即计算0时31S、0时32S、0时33S…0时60S对应的拟合曲线函数的导数之和。

[0038] S107，当所述导数之和大于0时，获取所述第一预设时间段内所述NLP容量预测模型的最大可服务的QPS数作为第二QPS；

[0039] 针对步骤S107，当所述导数之和不大于0时，不扩充所述NLP模型的模型服务容量。

[0040] S108，当所述第二QPS大于所述第一QPS阈值时，扩充所述NLP模型的模型服务容量。

[0041] 针对步骤S108，当所述第二QPS不大于所述第一QPS阈值时，不扩充所述NLP模型的模型服务容量。

[0042] 上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，这些均属于本发明的保护范围之内。