一种分布式存储数据的重平衡方法及其系统转让专利

申请号 : CN202011462529.7

文献号 : CN112231137B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 刘杰史伟闵宇

申请人 : 广东睿江云计算股份有限公司

摘要 :

本发明公开一种分布式存储数据的重平衡方法及其系统,重平衡方法步骤包括:对CEPH集群的历史IO数据拆分成训练数据;对训练数据进行训练,得到一个训练结果模型;记录CEPH集群出现故障时的当前时间点或者记录CEPH集群进行扩容时的当前时间点;把当前时间点作为当前时机,并将当前时机输入至训练结果模型中;训练结果模型对当前时机进行决策,用于判断当前时机是否适合对CEPH集群的存储数据执行重平衡。本发明通过训练结果模型即可自行决策CEPH集群的存储数据进行重均衡的时机,无需人工干预,极大地降低了分布式存储运营的难度,提升了数据重均衡的效率。

权利要求 :

1.一种分布式存储数据的重平衡方法,其特征在于,包括以下步骤:步骤S1、对CEPH集群的历史IO数据拆分成训练数据;

步骤S2、对训练数据进行训练,得到一个训练结果模型;

步骤S3、当CEPH集群出现故障情况下或者需要对CEPH集群进行扩容时,记录CEPH集群出现故障时的当前时间点或者记录CEPH集群进行扩容时的当前时间点;

步骤S4、把当前时间点作为当前时机,并将当前时机输入至训练结果模型中;

步骤S5、训练结果模型对当前时机进行决策,用于判断当前时机是否适合对CEPH集群的存储数据执行重平衡;若当前时机适合对CEPH集群的存储数据执行重平衡,则对CEPH集群的存储数据执行重平衡;若当前时机不适合对CEPH集群的存储数据执行重平衡,则在此当前时机下无需对CEPH集群的存储数据执行重平衡;

所述步骤S5中训练结果模型对当前时机进行决策,其具体为:训练结果模型在当前时机下,预判断CEPH集群在未来若干小时内可能会出现的总存储IO次数、总IO数据量和峰值数据BPS,然后构建一个方程式:设总存储IO次数为x,总IO数据量为y,峰值数据BPS为z,未来若干小时的时长为t,则构建的方程式为:其中,方程式中的a、b和c均是在实际应用过程中选取一个固定值;

当方程式的计算结果weight小于一定阈值时,则判定当前时机适合对CEPH集群的存储数据执行重平衡;

当方程式的计算结果weight大于或等于一定阈值时,则判定当前时机不适合对CEPH集群的存储数据执行重平衡。

2.根据权利要求1所述的一种分布式存储数据的重平衡方法,其特征在于,所述步骤S1前还包括步骤S0、获取CEPH集群的历史IO数据。

3.根据权利要求1所述的一种分布式存储数据的重平衡方法,其特征在于,所述步骤S2中,对训练数据采用FANN方式进行训练。

4.根据权利要求1所述的一种分布式存储数据的重平衡方法,其特征在于,所述未来若干小时,此未来若干小时的时长t的评估方法为:根据CEPH集群的总存储容量按一个百分比,折合网络传输带宽进行评估,具体为:设CEPH集群的总存储容量为x1,CEPH集群的网络传输带宽最大值为y1,则时长t的评估方程式为:t=(dx1)/(fy1),其中d和f均是在实际的部署场景中配置一个固定值;

或者根据CEPH集群中集群硬盘的平均使用容量,折合网络传输带宽进行评估,具体为:设CEPH集群中集群硬盘的平均使用容量为x2,CEPH集群的网络传输带宽最大值为y2,则时长t的评估方程式为:t=(gx2)/(hy2),其中g和h均是在实际的部署场景中配置一个固定值。

5.根据权利要求1或4所述的一种分布式存储数据的重平衡方法,其特征在于,所述步骤S5还包括:若当前时机不适合对CEPH集群的存储数据执行重平衡,则等待一段时间后,将一段时间后的时间点设为当前时间点,并返回步骤S4。

6.一种分布式存储数据的重平衡系统,其特征在于,包括数据获取模块、数据训练模块、时间记录模块、训练结果模型模块以及重均衡模块;

所述数据获取模块用于获取CEPH集群的历史IO数据,并对CEPH集群的历史IO数据拆分成训练数据;

所述数据训练模块用于对训练数据进行训练,并得到一个训练结果模型以及将训练结果模型放置于所述训练结果模型模块中;

所述时间记录模块用于:当CEPH集群出现故障情况下或者需要对CEPH集群进行扩容时,记录CEPH集群出现故障时的当前时间点或者记录CEPH集群进行扩容时的当前时间点,并把当前时间点作为当前时机以及将当前时机输入至所述训练结果模型模块中;

所述训练结果模型模块用于对当前时机进行决策,决策出当前时机是否适合对CEPH集群的存储数据执行重平衡,并将决策结果发送给所述重均衡模块;

所述重均衡模块用于:根据所述训练结果模型模块的决策结果,若当前时机适合对CEPH集群的存储数据执行重平衡,则重均衡模块对CEPH集群的存储数据执行重平衡;若当前时机不适合对CEPH集群的存储数据执行重平衡,则在此当前时机下重均衡模块无需对CEPH集群的存储数据执行重平衡;

所述训练结果模型模块用于对当前时机进行决策,其具体为:所述训练结果模型模块在当前时机下,预判断CEPH集群在未来若干小时内可能会出现的总存储IO次数、总IO数据量和峰值数据BPS,然后构建一个方程式:设总存储IO次数为x,总IO数据量为y,峰值数据BPS为z,未来若干小时的时长为t,则构建的方程式为:其中,方程式中的a、b和c均是在实际应用过程中选取一个固定值;

当方程式的计算结果weight小于一定阈值时,则所述训练结果模型模块判定当前时机适合对CEPH集群的存储数据执行重平衡;

当方程式的计算结果weight大于或等于一定阈值时,则所述训练结果模型模块判定当前时机不适合对CEPH集群的存储数据执行重平衡。

7.根据权利要求6所述的一种分布式存储数据的重平衡系统,其特征在于,所述训练结果模型模块包括时长评估单元;

所述时长评估单元用于评估所述训练结果模型模块在对当前时机进行决策过程中所采用的未来若干小时的具体时长t,时长t的具体评估方法为:根据CEPH集群的总存储容量按一个百分比,折合网络传输带宽进行评估,具体为:设CEPH集群的总存储容量为x1,CEPH集群的网络传输带宽最大值为y1,则时长t的评估方程式为:t=(dx1)/(fy1),其中d和f均是在实际的部署场景中配置一个固定值;

或者根据CEPH集群中集群硬盘的平均使用容量,折合网络传输带宽进行评估,具体为:设CEPH集群中集群硬盘的平均使用容量为x2,CEPH集群的网络传输带宽最大值为y2,则时长t的评估方程式为:t=(gx2)/(hy2),其中g和h均是在实际的部署场景中配置一个固定值。

8.根据权利要求7所述的一种分布式存储数据的重平衡系统,其特征在于,所述时间记录模块还用于:若当前时机不适合对CEPH集群的存储数据执行重平衡,则时间记录模块等待一段时间后,将一段时间后的时间点设为当前时间点,并将当前时间点作为当前时机以及将当前时机输入至所述训练结果模型模块中。

说明书 :

一种分布式存储数据的重平衡方法及其系统

技术领域

[0001] 本发明涉及分布式存储数据技术领域,特别涉及一种分布式存储数据的重平衡方法及其系统。

背景技术

[0002] CEPH是一种被广泛使用的分布式存储引擎,其具有良好的扩展性和容错能力,在某个存储单元(OSD)出现故障的时候,该引擎能自动将故障所影响的数据重新均衡到其他
的状态良好的存储单元中。
[0003] 快速神经网络(FANN)是一种非常流行的人工智能算法框架,可以通过已知数据的训练生成对应的规律模型,进而对新的未知数据进行决策判断。
[0004] 分布式存储的数据重均衡一直是一个困扰分布式存储运营者的核心大问题,如果长时间不执行重均衡,数据会面临二次损坏的风险,极大可能会导致数据最终丢失并且无
法挽回,而如果立刻进行数据的重均衡,往往会对业务的运行产生极大的影响,存储的服务
质量无法保证进而导致业务流失。面对这个问题,运营方往往是采用堆砌人力对集群进行
盯梢,并辅佐人工的经验判断,以进行是否执行数据重均衡的决策,效率低下,失误率高。

发明内容

[0005] 本发明要解决的技术问题在于,提供一种分布式存储数据的重平衡方法及其系统,对历史IO数据进行训练形成训练结果模型,通过训练结果模型即可自行决策CEPH集群
的存储数据进行重均衡的时机,无需人工干预,极大地降低了分布式存储运营的难度,提升
了数据重均衡的效率,更进一步地提高分布式存储的服务质量,缩小了服务质量的波动。
[0006] 为解决上述技术问题,本发明提供如下技术方案:一种分布式存储数据的重平衡方法,包括以下步骤:
[0007] 步骤S1、对CEPH集群的历史IO数据拆分成训练数据;
[0008] 步骤S2、对训练数据进行训练,得到一个训练结果模型;
[0009] 步骤S3、当CEPH集群出现故障情况下或者需要对CEPH集群进行扩容时,记录CEPH集群出现故障时的当前时间点或者记录CEPH集群进行扩容时的当前时间点;
[0010] 步骤S4、把当前时间点作为当前时机,并将当前时机输入至训练结果模型中;
[0011] 步骤S5、训练结果模型对当前时机进行决策,用于判断当前时机是否适合对CEPH集群的存储数据执行重平衡;若当前时机适合对CEPH集群的存储数据执行重平衡,则对
CEPH集群的存储数据执行重平衡;若当前时机不适合对CEPH集群的存储数据执行重平衡,
则在此当前时机下无需对CEPH集群的存储数据执行重平衡。
[0012] 进一步地,所述步骤S1前还包括步骤S0、获取CEPH集群的历史IO数据。
[0013] 进一步地,所述步骤S2中,对训练数据采用FANN方式进行训练。
[0014] 进一步地,所述步骤S5中训练结果模型对当前时机进行决策,其具体为:
[0015] 训练结果模型在当前时机下,预判断CEPH集群在未来若干小时内可能会出现的总存储IO次数、总IO数据量和峰值数据BPS,然后构建一个方程式:设总存储IO次数为x,总IO
数据量为y,峰值数据BPS为z,未来若干小时的时长为t,则构建的方程式为:
其中,方程式中的a、b和c均是在实际应用过程
中选取一个固定值;
[0016] 当方程式的计算结果weight小于一定阈值时,则判定当前时机适合对CEPH集群的存储数据执行重平衡;
[0017] 当方程式的计算结果weight大于或等于一定阈值时,则判定当前时机不适合对CEPH集群的存储数据执行重平衡。
[0018] 进一步地,所述未来若干小时,此未来若干小时的时长t的评估方法为:
[0019] 根据CEPH集群的总存储容量按一个百分比,折合网络传输带宽进行评估,具体为:设CEPH集群的总存储容量为x1,CEPH集群的网络传输带宽最大值为y1,则时长t的评估方程
式为:t=(dx1)/(fy1),其中d和f均是在实际的部署场景中配置一个固定值;
[0020] 或者根据CEPH集群中集群硬盘的平均使用容量,折合网络传输带宽进行评估,具体为:设CEPH集群中集群硬盘的平均使用容量为x2,CEPH集群的网络传输带宽最大值为y2,
则时长t的评估方程式为:t=(gx2)/(hy2),其中g和h均是在实际的部署场景中配置一个固
定值。
[0021] 进一步地,所述步骤S5还包括:若当前时机不适合对CEPH集群的存储数据执行重平衡,则等待一段时间后,将一段时间后的时间点设为当前时间点,并返回步骤S4。
[0022] 本发明另一目的是提供一种分布式存储数据的重平衡系统,包括数据获取模块、数据训练模块、时间记录模块、训练结果模型模块以及重均衡模块;
[0023] 所述数据获取模块用于获取CEPH集群的历史IO数据,并对CEPH集群的历史IO数据拆分成训练数据;
[0024] 所述数据训练模块用于对训练数据进行训练,并得到一个训练结果模型以及将训练结果模型放置于所述训练结果模型模块中;
[0025] 所述时间记录模块用于:当CEPH集群出现故障情况下或者需要对CEPH集群进行扩容时,记录CEPH集群出现故障时的当前时间点或者记录CEPH集群进行扩容时的当前时间
点,并把当前时间点作为当前时机以及将当前时机输入至所述训练结果模型模块中;
[0026] 所述训练结果模型模块用于对当前时机进行决策,决策出当前时机是否适合对CEPH集群的存储数据执行重平衡,并将决策结果发送给所述重均衡模块;
[0027] 所述重均衡模块用于:根据所述训练结果模型模块的决策结果,若当前时机适合对CEPH集群的存储数据执行重平衡,则重均衡模块对CEPH集群的存储数据执行重平衡;若
当前时机不适合对CEPH集群的存储数据执行重平衡,则在此当前时机下重均衡模块无需对
CEPH集群的存储数据执行重平衡。
[0028] 进一步地,所述训练结果模型模块用于对当前时机进行决策,其具体为:
[0029] 所述训练结果模型模块在当前时机下,预判断CEPH集群在未来若干小时内可能会出现的总存储IO次数、总IO数据量和峰值数据BPS,然后构建一个方程式:设总存储IO次数
为x,总IO数据量为y,峰值数据BPS为z,未来若干小时的时长为t,则构建的方程式为:
其中,方程式中的a、b和c均是在实际应用过程
中选取一个固定值;
[0030] 当方程式的计算结果weight小于一定阈值时,则所述训练结果模型模块判定当前时机适合对CEPH集群的存储数据执行重平衡;
[0031] 当方程式的计算结果weight大于或等于一定阈值时,则所述训练结果模型模块判定当前时机不适合对CEPH集群的存储数据执行重平衡。
[0032] 进一步地,所述训练结果模型模块包括时长评估单元;
[0033] 所述时长评估单元用于评估所述训练结果模型模块在对当前时机进行决策过程中所采用的未来若干小时的具体时长t,时长t的具体评估方法为:
[0034] 根据CEPH集群的总存储容量按一个百分比,折合网络传输带宽进行评估,具体为:设CEPH集群的总存储容量为x1,CEPH集群的网络传输带宽最大值为y1,则时长t的评估方程
式为:t=(dx1)/(fy1),其中d和f均是在实际的部署场景中配置一个固定值;
[0035] 或者根据CEPH集群中集群硬盘的平均使用容量,折合网络传输带宽进行评估,具体为:设CEPH集群中集群硬盘的平均使用容量为x2,CEPH集群的网络传输带宽最大值为y2,
则时长t的评估方程式为:t=(gx2)/(hy2),其中g和h均是在实际的部署场景中配置一个固
定值。
[0036] 进一步地,所述时间记录模块还用于:若当前时机不适合对CEPH集群的存储数据执行重平衡,则时间记录模块等待一段时间后,将一段时间后的时间点设为当前时间点,并
将当前时间点作为当前时机以及将当前时机输入至所述训练结果模型模块中。
[0037] 采用上述技术方案后,本发明至少具有如下有益效果:本发明通过对历史IO数据采用FANN(快速神经网络)方式进行训练,并形成训练结果模型,后期只需要将新的未知数
据进行决策判断,即可判断得出当前时机下是否适合对CEPH集群的存储数据执行重平衡操
作,该过程是自行决策重均衡的时机,无需人工干预,极大地降低了分布式存储运营的难
度,提升了数据重均衡的效率,更进一步地提高分布式存储的服务质量,缩小了服务质量的
波动。

附图说明

[0038] 图1为本发明一种分布式存储数据的重平衡方法的步骤流程图。
[0039] 图2为本发明一种分布式存储数据的重平衡系统的框架图。

具体实施方式

[0040] 需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互结合,下面结合附图和具体实施例对本申请作进一步详细说明。
[0041] 实施例1
[0042] 如图1所示,本实施例提供一种分布式存储数据的重平衡方法,具体步骤包括:
[0043] 步骤S0、获取CEPH集群的历史IO数据;
[0044] 通过对CEPH集群的相关信息的收集,形成一个历史的数据集,数据集包括历史IO数据,历史IO数据包括总存储IO次数、总IO数据量和峰值数据BPS(Bytes pre sec);
[0045] 步骤S1、对CEPH集群的历史IO数据拆分成训练数据;
[0046] 步骤S2、对训练数据进行训练,得到一个训练结果模型;优选地,对训练数据采用FANN方式进行训练,快速神经网络(FANN)是一种非常流行的人工智能算法框架,可以通过
已知数据的训练生成对应的规律模型,进而对新的未知数据进行决策判断;
[0047] 步骤S3、当CEPH集群出现故障情况下或者需要对CEPH集群进行扩容时,记录CEPH集群出现故障时的当前时间点或者记录CEPH集群进行扩容时的当前时间点;
[0048] 步骤S4、把当前时间点作为当前时机,并将当前时机输入至训练结果模型中;
[0049] 具体的:在实际的集群运营情况下,数据的重平衡一般会持续几个小时,如果将重平衡的时间延长到超过一周,则出现新的数据风险的几率较大,如果小于一周则IO的特性
无法完全体现出周期性(以天为单位的周期性往往具有较高的起伏,周期的匹配会较差),
因此,以周为主周期,以天为辅助周期是一个具有更高普适性的方法,如此对于“时机”的组
成,则可以拆分为两个特征:时机所在周的位置,时机所在天的位置,例如:(1,3)这个时机
的特征向量即表示该时机为周一的凌晨3点;
[0050] 步骤S5、训练结果模型对当前时机进行决策,用于判断当前时机是否适合对CEPH集群的存储数据执行重平衡;若当前时机适合对CEPH集群的存储数据执行重平衡,则对
CEPH集群的存储数据执行重平衡;若当前时机不适合对CEPH集群的存储数据执行重平衡,
则在此当前时机下无需对CEPH集群的存储数据执行重平衡;本实施例能自行决策重均衡的
时机,无需人工干预,极大的降低了分布式存储运营的难度,提升了效率,将分布式存储的
服务质量波动进一步的缩小;
[0051] 所述步骤S5中训练结果模型对当前时机进行决策,其具体为:
[0052] 训练结果模型在当前时机下,预判断CEPH集群在未来若干小时内可能会出现的总存储IO次数、总IO数据量和峰值数据BPS,然后构建一个方程式:设总存储IO次数为x,总IO
数据量为y且y的单位为MB,峰值数据BPS为z且z的单位为MB,未来若干小时的时长为t且t的
单位为秒,则构建的方程式为: 其中,方程式中
的a、b和c均是在实际应用过程中选取一个固定值;
[0053] 当方程式的计算结果weight小于一定阈值时,则判定当前时机适合对CEPH集群的存储数据执行重平衡;
[0054] 当方程式的计算结果weight大于或等于一定阈值时,则判定当前时机不适合对CEPH集群的存储数据执行重平衡;
[0055] 上述的方程式实际上是通过权衡在未来若干小时内,数据IO的频繁度(总存储IO次数),总IO数据量的大小,以及峰值数据BPS占总IO数据量的比例来权衡是否合适在该段
时间内执行数据的重均衡,对于公式中的a、b、c可以在实际的应用过程中合理选取,优选
地,这里给出一组参考:a=1,b=10,c=10;另外,实际情况中优选将一定阈值设置为20,即
当weight<20时则可以判断当前时机适合执行数据重均衡,否则就不适合执行数据重均衡;
在这组数据下,即可通过这3个输出结构(总存储IO次数、总IO数据量和峰值数据BPS)判断
出当前的时机是否适合执行数据重平衡;
[0056] 另外,上述所说的未来若干小时,此未来若干小时的时长t需要按ceph重均衡的数据量进行计算,对应机械硬盘约6~10小时/TB,固态硬盘加10Gbps网络约1~2小时/TB;具
体时长t的评估方法为:
[0057] 根据CEPH集群的总存储容量按一个百分比,折合网络传输带宽进行评估,具体为:设CEPH集群的总存储容量为x1且x1的单位为MB,CEPH集群的网络传输带宽最大值为y1且y1
的单位为MB/s,则时长t的评估方程式为:
[0058] t=(dx1)/(fy1),其中d和f均是在实际的部署场景中配置一个固定值;优选地,这里给出一个参考值为:d=0.3,f=0.5;
[0059] 或者,时长t的评估方法还可以是:
[0060] 根据CEPH集群中集群硬盘的平均使用容量,折合网络传输带宽进行评估,具体为:设CEPH集群中集群硬盘的平均使用容量为x2且x2的单位为MB,CEPH集群的网络传输带宽最
大值为y2且y2的单位为MB/s,则时长t的评估方程式为:t=(gx2)/(hy2),其中g和h均是在实
际的部署场景中配置一个固定值;优先地,这里给出一个参考值为:g=1,h=0.5;
[0061] 所述步骤S5还包括:若当前时机不适合对CEPH集群的存储数据执行重平衡,则等待一段时间后,将一段时间后的时间点设为当前时间点,并返回步骤S4;优选地,所述一段
时间设为一个小时。
[0062] 实施例2
[0063] 如图2所示,本实施例在实施例方法的基础上公开一种分布式存储数据的重平衡系统,该分布式存储数据的重平衡系统能实现上述实施例1中的分布式存储数据的重平衡
方法,分布式存储数据的重平衡系统包括数据获取模块、数据训练模块、时间记录模块、训
练结果模型模块以及重均衡模块;
[0064] 所述数据获取模块用于获取CEPH集群的历史IO数据,并对CEPH集群的历史IO数据拆分成训练数据;
[0065] 所述数据训练模块用于对训练数据进行训练,并得到一个训练结果模型以及将训练结果模型放置于所述训练结果模型模块中;
[0066] 所述时间记录模块用于:当CEPH集群出现故障情况下或者需要对CEPH集群进行扩容时,记录CEPH集群出现故障时的当前时间点或者记录CEPH集群进行扩容时的当前时间
点,并把当前时间点作为当前时机以及将当前时机输入至所述训练结果模型模块中;
[0067] 所述训练结果模型模块用于对当前时机进行决策,决策出当前时机是否适合对CEPH集群的存储数据执行重平衡,并将决策结果发送给所述重均衡模块;
[0068] 所述重均衡模块用于:根据所述训练结果模型模块的决策结果,若当前时机适合对CEPH集群的存储数据执行重平衡,则重均衡模块对CEPH集群的存储数据执行重平衡;若
当前时机不适合对CEPH集群的存储数据执行重平衡,则在此当前时机下重均衡模块无需对
CEPH集群的存储数据执行重平衡。
[0069] 进一步地,所述训练结果模型模块用于对当前时机进行决策,其具体为:
[0070] 所述训练结果模型模块在当前时机下,预判断CEPH集群在未来若干小时内可能会出现的总存储IO次数、总IO数据量和峰值数据BPS(Bytes pre sec),然后构建一个方程式:
设总存储IO次数为x,总IO数据量为y且y的单位为MB,峰值数据BPS为z且z的单位为MB,若干
小时的时长为t且t的单位为秒,则构建的方程式为:
其中,方程式中的a、b和c均是在实际应用过程
中选取一个固定值;
[0071] 当方程式的计算结果weight小于一定阈值时,则所述训练结果模型模块判定当前时机适合对CEPH集群的存储数据执行重平衡;
[0072] 当方程式的计算结果weight大于或等于一定阈值时,则所述训练结果模型模块判定当前时机不适合对CEPH集群的存储数据执行重平衡。
[0073] 进一步地,所述训练结果模型模块包括时长评估单元;
[0074] 所述时长评估单元用于评估所述训练结果模型模块在对当前时机进行决策过程中所采用的未来若干小时的具体时长t,时长t的具体评估方法为:
[0075] 根据CEPH集群的总存储容量按一个百分比,折合网络传输带宽进行评估,具体为:设CEPH集群的总存储容量为x1且x1的单位为MB,CEPH集群的网络传输带宽最大值为y1且y1
的单位为MB/s,则时长t的评估方程式为:
[0076] t=(dx1)/(fy1),其中d和f均是在实际的部署场景中配置一个固定值;
[0077] 或者根据CEPH集群中集群硬盘的平均使用容量,折合网络传输带宽进行评估,具体为:设CEPH集群中集群硬盘的平均使用容量为x2且x2的单位为MB,CEPH集群的网络传输带
宽最大值为y2且y2的单位为MB/s,则时长t的评估方程式为:t=(gx2)/(hy2),其中g和h均是
在实际的部署场景中配置一个固定值。
[0078] 进一步地,所述时间记录模块还用于:若当前时机不适合对CEPH集群的存储数据执行重平衡,则时间记录模块等待一段时间后,将一段时间后的时间点设为当前时间点,并
将当前时间点作为当前时机以及将当前时机输入至所述训练结果模型模块中。
[0079] 尽管已经示出和描述了本发明的实施例,对于本领域的普通技术人员而言,可以理解的是,在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种等效的变
化、修改、替换和变型,本发明的范围由所附权利要求及其等同范围限定。