容量数据处理、调配的方法、系统和计算机可读介质转让专利

申请号 : CN202110696330.9

文献号 : CN113344282B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 王丽史晨阳彭晓孙纪周邢世伟

申请人 : 中国光大银行股份有限公司

摘要 :

本发明涉及本发明容量数据处理、调配的方法、系统和计算机可读介质,依据系统编码和指标编码查询系统数据特征;计算预测特征数据的时间长度;确定是平移拟合时,计算增长率,将增长率写入中间数据库;进行平移结构判断和增长权重计算;获取增长率、增长权重计算平移拟合,序列分解拟合模型构建;根据特征数据时间长度判断调整方式,增长率按月特征调整,计算增长率,将增长率写入中间数据库;计算预测偏差作为调整方案,入库;获取预测长度偏差调整,预测数据入库。本发明预测灵活性强、预测准确性高,使用者更清楚地分析影响预测准确率;增强拟合与预测效果;能够很好的将业务指标数据按需求做出预测。

权利要求 :

1.一种容量数据处理和调配方法,其特征在于,所述方法包括:步骤s201,总前系统统计自身服务量供应情况并调整分配至各业务流程的系统中;

步骤s202,总前系统通过渠道接入完整业务所需的渠道系统与业务系统;

步骤s203,基于系统压力测试计算承载力数据,基于监听装置采集统计业务指标数据;

步骤s204,数据采集同步器管理采集装置,接收数据并进行系统归类后传递至容量平台服务器;

步骤s205,基于分析选取目标指标;如存在建模需求,则跳转到步骤s301;如存在预测值,则跳转到步骤s601;

步骤s601,预测结果反馈至容量平台服务器,基于阈值和预测值关系,展示是否告警状态并计算传递调配参数;

步骤s602,应用服务调配器接受调配参数,基于承载力数据与预测阈值差计算获得服务调整值,对指定系统发送服务量配给请求;跳转到步骤s201;

步骤s301,容量平台服务器按需求向算法平台分析服务器发送目标指标的预测请求;

步骤s302,算法平台服务器对目标指标的指标编码和目标指标所处的系统编码进行识别;

步骤s303,依据系统编码和指标编码查询系统数据特征;

步骤s304,计算预测特征数据的时间长度;

步骤s103,判断是否平移拟合;确定是平移拟合时跳转到步骤s104,当确定非平移拟合时,跳转到步骤s107;

步骤s104,计算增长率,将增长率写入中间数据库;

步骤s105,进行平移结构判断和增长权重计算;

步骤s106,获取增长率、增长权重计算平移拟合,跳转到步骤s116,步骤s107,序列分解拟合模型构建;

步骤s108,拟合模型优化并实现预测;

步骤s109,根据特征数据时间长度判断调整方式,如增长率按月特征调整,跳转到步骤s110;如果预测长度按照偏差调整,跳转到步骤s113;

步骤s110,计算增长率,将增长率写入中间数据库;

步骤s111,获取增长率按月特征调整,跳转到步骤s116;

步骤s113,计算预测偏差作为调整方案,入库;

步骤s114,获取预测长度偏差调整;

步骤s115,基于偏差幅度二次调整;

步骤s116,预测数据保存和/或直接跳转到步骤601。

2.一种容量资源自动调配系统,包括:各种业务;和/或若干渠道系统;

总前系统;

若干业务系统;

数据采集同步器;

应用服务调配器;

容量平台服务器;

算法分析服务器;

数据库以及,

若干个存储器,用于存储一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1中所述的容量数据处理和调配方法。

3.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1所述的容量数据处理和调配方法。

说明书 :

容量数据处理、调配的方法、系统和计算机可读介质

技术领域

[0001] 本发明涉及计算机应用技术领域,特别涉及基于互联网络和大规模数据处理的金融计算机系统容量数据处理、调配的方法、系统和计算机可读介质。

背景技术

[0002] 包括银行在内的现有的金融业的计算机系统中的各个应用,数据会随时间进行变动,这些变动虽然一般是持续增长的,但是在某些场合下也会出现某个应用数据的减少,甚至反复变动的情况。新的应用也会随时间进行变动,包括应用数量的增减或者波动。
[0003] 现有银行业的计算机系统中的各应用,对硬件资源的依赖往往是独立的,特别是对一些昂贵的可扩展资源,诸如CPU、硬盘、内存等,都是独立进行使用的。其中,诸如银行为追求系统的健壮性、IO指标等只能采购更高级别的硬件装置和设备。在生产环境中,管控各应用的机房的操作人员根据人工巡查或特定主机提供的硬件显示指标,例如硬盘、内存容量或CPU饱和度指标,然后根据操作员个人的经验进行粗放的硬件资源的人工调整,例如停机后增加足够多的硬盘,例如增加80%的硬盘或者例如停机后减少50%的硬盘;对于CPU或者内存等资源也会进行类似的经验操作。这种人工调整在实际生产中无法适应高强度高并发性的涉及大规模数据处理的银行计算机系统的动态变化,并且为了保持足够的数据运行安全性浪费了较多的昂贵计算机硬件设备。
[0004] 从应用上而言,尤其是在金融领域内,诸如互联网网贷、节日商户促销、高收益理财发售,秒杀等场景的出现,使得诸如银行形式的企业在互联网中的各条线业务飞速发展,业务增长呈现了新的形态,这些条线的应用使得对包括数据在内的适应各系统的容量控制和调配变得异常频繁。
[0005] 传统的商业银行需要投入大量资金和资源,建设和发展需要大量包括信息中心操作员在内的人员参与辅助的信息系统和技术保障体系,这其中人员消耗的成本比本已经十分昂贵的硬件资源还要更高,但是为了不断适应新推出的各个全新的业务种类和服务模式只能容忍以这种粗放的大规模消耗增加才能满足持续发展的业务需要。例如,随着银行的服务品种、交付渠道和技术实现的不断增加,使得银行中对应的电脑应用系统也随之增多,由此便出现了这样一个情况:每一个应用系统单独对应后台业务、支付体系等支持系统,很多都配有前置处理机实现特有的业务处理、数据处理或者设备控制管理;银行机房中往往放置着大量不同业务的前置机系统。该种架构的系统及其上的系统工作方法增加了系统维护人员的投入,造成银行设备和软件投资的浪费,诸如同一银行不同地区、不同系统的各个阶段重复开发现象严重,更加危险的是:可能因应用系统的容量人工配置失误或管理杂乱导致系统的错误或崩溃。

发明内容

[0006] 针对上述现有技术中的不足,本发明提供一种能够动态地控制和调配银行计算机系统的容量数据处理和调配的方法、系统和计算机可读介质,用以解决上述至少一个技术问题。
[0007] 第一方面,本发明提供一种容量数据处理和调配方法。
[0008] 在本发明第一方面的一个实施例中,所述方法包括:
[0009] 步骤s201,总前系统统计自身服务量供应情况并调整分配至各业务流程的系统中;
[0010] 步骤s202,总前系统通过渠道接入完整业务所需的渠道系统与业务系统;
[0011] 步骤s203,基于系统压力测试计算承载力数据,基于监听装置采集统计业务指标数据;
[0012] 步骤s204,数据采集同步器管理采集装置,接收数据并进行系统归类后传递至容量平台服务器;
[0013] 步骤s205,基于分析选取目标指标;如存在建模需求,则跳转到步骤s301;如存在预测值,则跳转到步骤s601;
[0014] 步骤s601,预测结果反馈至容量平台服务器,基于阈值和预测值关系,展示是否告警状态并计算传递调配参数;
[0015] 步骤s602,应用服务调配器接受调配参数,基于承载力数据与预测阈值差计算获得服务调整值,对指定系统发送服务量配给请求;跳转到步骤s201;
[0016] 步骤s301,容量平台服务器按需求向算法平台分析服务器发送目标指标的预测请求;
[0017] 步骤s302,算法平台服务器对目标指标的指标编码和目标指标所处的系统编码进行识别;
[0018] 步骤s303,依据系统编码和指标编码查询系统数据特征;
[0019] 步骤s304,计算预测特征数据的时间长度;
[0020] 步骤s103,判断是否平移拟合;确定是平移拟合时跳转到步骤s104,当确定非平移拟合时,跳转到步骤s107;
[0021] 步骤s104,计算增长率,将增长率写入中间数据库;
[0022] 步骤s105,进行平移结构判断和增长权重计算;
[0023] 步骤s106,获取增长率、增长权重计算平移拟合,跳转到步骤s116,
[0024] 步骤s107,序列分解拟合模型构建;
[0025] 步骤s108,拟合模型优化并实现预测;
[0026] 步骤s109,根据特征数据时间长度判断调整方式,如过增长率按月特征调整,跳转到步骤s110;如果预测长度按照偏差调整,跳转到步骤s113;
[0027] 步骤s110,计算增长率,将增长率写入中间数据库;
[0028] 步骤s111,获取增长率按月特征调整,跳转到步骤s116;
[0029] 步骤s113,计算预测偏差作为调整方案,入库;
[0030] 步骤s114,获取预测长度偏差调整;
[0031] 步骤s115,基于偏差幅度二次调整;
[0032] 步骤s116,预测数据保存和/或直接跳转到步骤601。
[0033] 第二方面,本发明提供一种容量数据的处理和调配系统。
[0034] 在本发明第二方面的一个实施例中,包括:
[0035] 各种业务;和/或若干渠道系统;
[0036] 总前系统;
[0037] 若干业务系统;
[0038] 数据采集同步器;
[0039] 应用服务调配器;
[0040] 容量平台服务器;
[0041] 算法分析服务器;
[0042] 数据库以及,
[0043] 若干个存储器,用于存储一个或多个程序,
[0044] 当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现所述的容量数据处理和调配方法;
[0045] 第三方面,本发明提供了一种计算机可读存储介质。
[0046] 在本发明第三方面的一个实施例中,其上存储有计算机程序,该程序被处理器执行时实现上述的容量数据处理和调配方法。
[0047] 本发明相对现有技术的有益效果:
[0048] 本发明容量数据处理、调配的方法、系统和计算机可读介质,预测灵活性强、预测准确性高,使用者更清楚地分析影响预测准确率;增强拟合与预测效果;根据不同条件下的时序数据拟合模型,能够很好的将业务指标数据按需求做出预测,继而将结果入库,完成时序预测整体流程。增强拟合与预测效果;不同条件下的时序数据拟合模型,并能够很好的将业务指标数据按需求做出预测,继而将结果入库,完成时序预测整体流程;并且基于这样的模型预测和计算,能够有机动态地调整和分配容量资源,使得整个系统的容量资源可以自动进行增加或减少并进行自动分配。

附图说明

[0049] 图1是现有技术的数据处理、调配流程示意图;
[0050] 图2是本发明容量数据处理、调配的方法、系统和计算机可读介质的的调配系统结构示意图;
[0051] 图3是本发明容量数据处理、调配的方法、系统和计算机可读介质的算法分析服务器的内部结构示意图;
[0052] 图4是本发明容量数据处理、调配的方法、系统和计算机可读介质的数据处理、调配流程示意图的第一部分;
[0053] 图5是本发明容量数据处理、调配的方法、系统和计算机可读介质的数据处理、调配流程示意图的第二部分;
[0054] 图6是本发明容量数据处理装置的的模块示意图。
[0055] 附图中主要部件符号说明:

具体实施方式

[0056] 以下参照附图及实施例对本发明进行详细的说明:
[0057] 本发明的有关技术术语的释明:
[0058] 业务:一个完整的业务从用户产生,使用渠道系统所部署的设备,发送数据请求,经过渠道到达总前系统,经总前系统的认证、管控、分配后再经过渠道到达指定的业务系统,业务系统对数据请求进行处理,处理完成后生成回执信息经过渠道返回总前系统,再由总前系统将回执信息通过渠道进行递送至指定的渠道系统,并由渠道系统进行业务的反馈。至此完成一个业务的流程。
[0059] 压力测试:任何系统在运行初均需要压力测试。此处压力测试基于系统接入总前系统,接入时,以接入系统和总前系统的物理资源使用上限为准,主要计算接入系统的指标TPS、QPS(系统吞吐量)等,并依据总前系统的应用服务分配逻辑,得到接入系统的承载力数据。
[0060] 应用服务:总前系统中,用于处理特定接入系统信息的CPU进程组。总前系统中可量化应用服务,接入系统所分配应用服务量取决于系统接入初的压力测试。总前系统拥有有限的CPU和内存资源,而面对所有处于启动状态的应用服务,总前系统将平均分配自身资源至每个启动的应用服务。所以,接入系统所分配到的应用服务量即决定了该接入系统在总前系统管控下的服务能力。应用服务需合理有效地分配至各接入系统。
[0061] 应用服务量配给:指定接入系统的预计服务量配给数,单位为个数。供总前系统在预测机制下能预见性地调配指定接入系统的服务量配给,防止业务量上升导致的系统宕机或业务量下降导致的资源浪费。
[0062] 渠道:受总前系统管控,处于总前系统与其他系统间的虚拟通信通道,其实现前提基于总前系统为连通系统分配的应用服务量。应用服务量越多,渠道越通畅。
[0063] 承载力数据:以接入系统为单位(此处主要考量接入的业务系统),每个接入系统对应的当前应用服务量。还包括该系统下所有业务指标的对应阈值及单位服务量承载力。每个接入系统有一个应用服务量,每个系统有多个指标,每个指标对应一个阈值及一个单位服务量承载力。应用服务量单位为个数,即对应总前系统当前分配给该系统的服务数;阈值单位为指标单位,即压力测试下得到正常运行系统所需满足的该指标上限;单位服务量承载力单位为指标单位每个应用服务量,即当前状态下每增加一个应用服务可容纳该指标数值的量。
[0064] 业务指标数据:以接入系统为单位(此处主要考量接入的业务系统),指定业务系统下基于特定方法采集的日频时序数据,基于采集的方式和内容可以形成不同的指标,但不同指标均可以从不同角度反馈该业务系统的应用领域容量状况。“日交易量”为最简单也最直接的指标,其单位为笔每日。
[0065] 调配参数:调配参数针对指定的业务系统,涉及该系统的承载力数据及预测数值与阈值的关系。
[0066] 渠道系统:业务相关的客户端系统,负责接收用户业务请求后将请求数据传递至业务处理的相关系统,或接收业务处理回执并将结果反馈给用户。
[0067] 业务系统:业务相关的服务端系统,负责接收业务处理任务,通过自身或业务系统间功能完成业务处理,处理后将回执信息传递回接收渠道。
[0068] 总前系统:金融行业中台系统,负责衔接前台渠道系统与后台业务系统并调配业务在第三方、分行、数据中心的流动逻辑。支持渠道的热插拔,即可满足高可扩展性,同时量化应用服务,统一分配服务并管理渠道,满足大量业务的处理。
[0069] 数据采集同步器:采集得到承载力数据、业务指标数据以业务系统为单位整理两项数据,一个业务系统对应一个系统编码,用于识别业务系统,其下有多个业务指标,每个业务指标对应一个指标编码,用于识别指标。两项数据被整理为系统下每个指标拥有时间范围内的日频时序数据、该指标唯一的阈值,每个系统的当前应用服务量。
[0070] 容量平台服务器:日频时序数据、阈值存入数据库,依据指标编码对不同的系统依次执行预测请求,管理各个系统的每个有效指标,可以展示和预警每个指标的时序数据。
[0071] 算法平台服务器:依据获取的系统编码和指标编码定位任务,由数据库中指标的历史时序数据进行分情况的拟合预测,得到未来预测时序数据后存入数据库。
[0072] 容量平台服务器对已经预测的指标进行阈值与预测值的比较,当前系统的某一指标预测值超出阈值或历史、预测值均远低于阈值时,将指标预测值、当前系统的应用服务量、指标阈值作为该系统的应用服务调配参数传入应用服务调配器。
[0073] 数据库:存储两部分内容,包括从数据采集同步器采集并经过容量平台服务器加工后的历史数据存储;算法平台分析服务器进行数据建模预测后的预测数据存储。
[0074] 应用服务调配器:
[0075] 基于接收参数,将预测值和阈值做计算得到调配幅度,将阈值和系统当前应用服务量做计算得到系统单位应用服务承载量。两项参数再计算得到服务量配给,服务量配给为当前系统基于预测未来需进行的应用服务量增减值。
[0076] 本发明算法服务器包括:历史数据加载单元、数据预处理单元、增长率计算单元、增长率存储单元、预测反馈单元、优化计算单元、模型构建单元、偏差调整单元和中间件容器。
[0077] 参照图2至图5,本发明的概括性实施例一:
[0078] 在预先完成配置和构造的业务循环中,由前端用户发起业务请求后,经由各种业务渠道系统,例如pos机、ATM机、网上银行等渠道进入银行总前系统,在总前系统内,业务请求经过标准化和分发调度后通过渠道进入指定的后台业务系统中进行业务处理,业务处理结果再由相同渠道返回总前系统进行解析并将处理结果返回给渠道系统端作为回执显示给用户。以上过程中两部分渠道均由应用服务作为承载单位进行信息的传输,每一个完整的业务循环下,每个渠道下均有特定的应用服务特征,该特征基于总前系统单位应用服务所能承载的特定业务量。
[0079] 由于总前系统应用服务数一定,在接入系统时,完成压力测试后,即可得知当前该接入系统与总前系统间渠道的最大所需应用服务数以及单位应用服务的业务承载力,将这些数据传递给本发明装置的数据采集同步器。同时,将业务系统中所有相关的业务指标数据也传递给该同步器。
[0080] 完成数据搜集后,数据于容量平台服务器中进行处理,过程中实时将采集数据更新用于计算的数据库。设计每日任务对算法平台分析服务器发送建模请求,于算法平台进行某一业务指标的数据预测模型构建,将构建模型保存后,再次发送预测请求时,以该模型对指定业务指标进行未来数值的预测。容量平台服务器接收预测结果后,以曾经采集的承载力相关数据作为阈值判断业务变化是否构成应用服务量调整的必要。
[0081] 当应用服务量的调整为必须时,将进行告警并自动将调整参数传递至本发明的应用服务调整装置,在该装置中将所有参数结合计算后,即可将服务量配给的信息传递给总前系统,通过总前系统的标准化设置接口统一调配指定业务的应用服务器。
[0082] 本发明在对时序预测时的完整流程为,首先依据系统编码和指标编码查询系统的数据特征,即通过自动调取的方式将参与预测任务的参数和完整有效的模型训练用数据整理出,随后计算现有数据的时间长度,该长度用来与需求中预测时间长度做比较。
[0083] 普遍来说,当模型训练的时间长度与预测时间长度的比例较小时是无法得到较好的预测结果。基于对模型应用了解,当上述比例超过3时,考虑使用分解拟合模型做预测,而比例未超过时考虑使用平移拟合模型。又由于预测的需求普遍在一周至两月之间,可以得到训练用数据分界大致为三周至半年之间。
[0084] 当训练用数据量足够运用分解拟合模型时,直接进行模型的训练,以下描述该算法的使用逻辑。
[0085] 在时间序列分析领域,有一种常见的分析方法叫做时间序列的分解(Decomposition of Time Series),它把时间序列y(t)分成几个部分,分别是季节项,趋势项,剩余项。而一般来说,在实际生活和生产环节中,除了季节项,趋势项,剩余项之外,通常还有节假日h(t)的效应。于是模型整体构建主要由三个部分组成,growth(增长趋势)、seasonality(季节趋势)以及holidays(节假日对预测值的影响)。其中g(t)表示增长函数,用来拟合时间序列中预测值的非周期性变化;s(t)用来表示周期性变化,比如说每周,每年中的季节等;h(t)表示时间序列中那些潜在的具有非固定周期的节假日对预测值造成的影响,附加最后剩余无法预测项,得到公式:
[0086] y(t)=g(t)+s(t)+h(t)+ε
[0087] 所以,分解拟合的方式即为将原有时序数据做如上的分解后依次做拟合,最后还原得到原有时序数据的预测模型。
[0088] 对于增长趋势项g(t),首先考虑存在两种形态的趋势,即有极限的趋势和无极限趋势,前者符合逻辑回归函数,后者符合分段线性回归函数。对于逻辑回归的特性,函数可以写成 这里C称为曲线的最大渐近值,k表示曲线的增长率,m表示曲线的中点,而对于线性回归的特点则较为简单,即f(x)=kx+b。由于对业务领域指标的预测时,其数据特点上不存在较为明确的实际限制条件,所以此处考虑使用分段线性回归函数。
分段的方式通过设计变点实现,在模型构建过程中设置若干变点,当S个变点被设置在相应的变点位置时间sj(1≤j≤S)时,通过假设向量 来表示每个时间戳sj上的增长率,k为初始第一个增长率, 为对应时间戳的指示表达函数,由此可以获得在
T
时间戳t上的增长率为k+aδ,并且在得到增长率基础上计算得到每个分段部分函数表达式。变点位置的选择一般通过平均分布的方式,其增长率通过概率随机分布,为保证模型的稳健性,这里采用拉普拉斯随机分布的方式,即增长率的变化量符合分布δj~Laplace(0,τ),τ为预设的变化度,可根据训练用数据极差值与平均值的比获得。对于本发明中使用到的分段线性回归函数,可以最终得到整体的趋势性函数为:
[0089] g(t)=(k+a(t)δ)·t+(m+a(t)Tγ),
[0090] 其中k为初始增长率,δ为增长率的变化,m为初始偏移量,γ=(γ1,…,γS)T,γj=‑sjδj为增长率影响下的偏移增量并与m共同形成总偏移。
[0091] 对于周期季节项s(t),这是在时间序列预测过程中最为普遍考虑到的因素,主要表现在时间序列由每天、周、月、年等季节特点影响下形成的周期性。
[0092] 而周期函数可由傅里叶级数进行表达,即:
[0093] 其中P为周期。
[0094] 由于本模型中时间序列的基础时间单位为日,则可选周期为周、月、年,为简化计算方案,采用P=365.25表示以年为周期,P=7表示以周为周期,当数据量未满足年时使用周为周期。通过对时序数据普遍性考量后,对年周期设定级数为10,对周周期设定级数为3,T于是形成每个周期类型的傅里叶级数参数向量β=(a1,b1,…,aN,bN) ,继而得到季节项的模型为s(t)=X(T)β,其中X(t)为相应三角函数的向量,β则通过概率随机分布获取,这里选用
2
正则分布β~Normal(0,σ)。
[0095] 对于特殊、节假日等效应h(t),由于特殊日期的不稳定性且对时序数据的影响又不容忽视,所以对每个特殊日期均做成独立的模型,并为其设置不同的前后窗口值,该窗口值可通过正态分布的方式体现特殊日期对时序数据的影响渐变效果。
[0096] 所以得到整体特殊日期模型整合为 其中Z2
(t)为对应特殊日期模型的指示函数,κ~Normal(0,υ)为正态分布下的窗口效应。
[0097] 至此完整构建了用于拟合时序数据的模型:
[0098] y(t)=g(t)+s(t)+h(t)+ε,之后通过L‑BFGS算法对该函数进行求解。该算法以牛顿法求根为基础,牛顿法即在一元函数问题中通过不断迭代二阶泰勒展开的方式求得函数的解,当对原函数求解时,可以直接求得导函数并令导函数为0时的结果就是原函数的解,消去常数项后得到求解公式f′(xk)+f″(xk)(x‑xk)=0。该拟合算法基于BFGS算法优化,BFGS算法即通过牛顿法思路,将多元函数二阶泰勒展开,在迭代过程中将难以计算的二阶导函数同步以迭代方式做逼近计算,将原有的单次迭代过程转变为函数根与二次导函数解同步迭代逼近的方式,但其中间存储量随着计算元,即因变量的增加而急剧上升,L‑BFGS算法即改变在迭代中对二次导函数的计算结果存储转变为计算前本次计算参数的存储,虽然降低了由迭代产生计算精度,但有效节省了内存空间。完成拟合后即得到所需的回归模型。
[0099] 得到序列分解拟合模型后,首先将已经过拟合的时序数据与其拟合结果做比较,即计算训练用时序数据的预测偏差,作为该指标于当前业务时间的偏差调整方案存入数据库。其次判断该训练用时序数据是否符合长周期特点,这里判断两年以上的数据为长周期,用于长周期数据的拟合模型将进行预测时间长度的偏差调整。
[0100] 以下详细阐述两种模型调整的方式。
[0101] 由于对时间跨度较长的时序数据来说,其模型拟合效果会对整体训练用数据有较为平均的判断,但对作为拥有一定时效性的金融业务类时序数据预测来说,越是接近预测时间段的时序数据对预测结果越会有影响效果,即业务日期前的真实数据会对业务日期后的预测值造成更大的相关影响。为了补足单一时序数据拟合过程中低阶自相关性的偏高影响,所以需要对时间跨度较长的时序数据拟合结果做相应的调整,以增强拟合与预测效果。调整的方式可以有两种,分别为预测长度偏差调整和增长率按月特征调整。
[0102] 预测长度偏差调整完全作用于长周期时序数据拟合模型,其方法为通过迭代一次模型拟合的方式将新预测结果与已有实际数据的偏差作为未来预测结果的偏差。当且业务日期为T时,如果原需要预测数据为T至T+k时间段时,在原有模型拟合问题f(0→T)=yT→T+k基础上,仅调整时间段,增加一次模型拟合且预测问题f(0→T‑k)=yT‑k→T该预测后得到的结果与时间段内的真实数据的偏差将作为未来预测结果的调整值 yT→T+k+yT‑k→T‑ytrueT‑k→T。由于数据长度及计算复杂度限制,偏差调整只做一次迭代,在此基础上,又由于一次迭代的特殊性不免存在偏差较大的情况,当某一时刻偏差幅度超过30%或70%,分别进一步进行常规识别调整和特殊化调整。当常规识别调整时,首先依次判断当前日期的特点,即是否为工作日、休息日、特殊节假日,当判断为是时,根据其历史该特点数值的平均增长率做相应的调整,该方法与之后描述的增长率调整和平移算法相似。当特殊化调整时,基于数据突变特点同样先判断是否为特殊节假日,是则按去年同期数据的基准附加其增长率调整,否则将当日暂时新增入特殊日期并按照常规识别调整方式做调整,该新增日期作报告供技术人员判断是否为异常。
[0103] 增长率按月特征调整主要用于少于两年作为非长周期的时序数据预测,该类非长周期数据在调整前需与平移拟合部分数据一样首先计算其按日、周、月或包括年的增长率,并存入数据库。此后,对于使用增长率按月特征调整的分解拟合模型,首先判断每日日期的特点,即是否为特殊节假日,当为特殊节假日时,按去年同期数据的基准附加特殊日期增长率调整,当不为特殊节假日时,依次按照工作日或休息日平均增长、月平均增长为每日数据做一周期的增长率调整。由于在分解拟合过程中并未将是否工作日和月的变化考虑到周期性中,所以在增长率调整中主要考虑该两项内容,并且该数据分类情况下极其普遍地使用一年左右数据预测月维度数据,所以如此调整。
[0104] 完成对分解拟合后模型的调整后,下面介绍采用平移方式的模型拟合过程。
[0105] 使用平移拟合的时序数据具有短周期且训练时间长度相比预测时间长度低于3的特点,所以此类预测需求无法通过一般的机器学习或拟合方式实现。拥有的训练数据过短时对预测结果造成较大的随机性,并且普遍为过拟合效果。于是考虑时序数据中特有存在的规律性作为预测的重点方式,即对于时序数据在时间维度上基于日、月、年、特殊节假日的增长效果做模型拟合。采用公式
[0106] f(t)=D(t)+M(t)·1if cross month+Y(t)·1if cross year+S(t)·1if special+ε[0107] 对于日增长部分D(t),考虑分为工作日和非工作日的区分,即根据日期所属分区分别计算历史工作日平均增长率,得到该增长率后由训练数据中上一周期的基础上增加增长率,同时乘上对应的比重系数得到该部分数值Td为一天,比重系数rd基于是
否存在之后的项而变化。
[0108] 对于月增长部分M(t),其根据训练用数据中是否跨月来决定是否存在该项。当存在时,将计算数据的月平均增长率并以上一周的基础上增加增长率,同时乘上对应比重系数得到M(t)=m(t‑Tm)·(1+gmonth)·rm,Tm为当前月的天数。
[0109] 对于年增长部分Y(t),其根据训练用数据中是否跨年来决定是否存在该项。当存在时,将计算数据的年平均增长率并以上一年的基础上增加增长率,同时乘上对应比重系数得到Y(t)=y(t‑Ty)·(1+gyear)·ry,Ty为当前年的天数。
[0110] 对于特殊日增长部分S(t),其重要度较高但可计算度不够,所以当存在上一期特殊日期数值时直接作为本期数值并乘权重S(t)=s(t‑T)·rs,当存在该项时,该权重为0.5,即同时其他项权重共分享剩余0.5,在非特殊日期时,其他项将共享完整1的权重。对于前三项,权重将基于存在的项按照日、月、年的下降秩比例分配,最终实现平移拟合模型的建立。
[0111] 综上基于各种情况,最后得到对不同条件下的时序数据拟合模型,并能够很好的将业务指标数据按需求做出预测,继而将结果入库,完成时序预测整体流程。
[0112] 在当前的预测功能实现后,由于预测内容为生产业务中应用领域数据,而业务中涉及的容量内容主要包含于总前系统对各业务系统的管控过程中。所以为了将预测结果作用于容量相关调配的本质需求,即将任何系统中产生的变化和信息整合分析后总结出可供各相关系统实施的资源优化配置建议,以下将通过两部分操作实现最终的资源配置方案。
[0113] 步骤一,通过预采集的单位应用服务承载力实现对未来承载需求的计算。由于在任何业务系统上线前,均会对其进行业务承载力测试,其能够在给定的应用服务下得到理论业务峰值,该峰值即为能够正常进行系统业务的业务阈值。通过业务阈值和应用服务数相除可以得到对当前业务系统下的单位应用服务承载力。
[0114] 步骤二,在应用服务调配器中基于预测数据时段和单位应用服务承载力计算服务量配给,并将配给数值以指令形式反馈给总前系统,使得总前系统能预调配服务给指定的业务系统,实现该业务系统的业务预测预警。计算方式基于预测的指标类型,对于一个系统下的日交易量、平均响应时间、日吞吐量等业务指标都有独有的阈值,当预测数据中存在到达阈值的80%或超过阈值时,分别进行容量风险提示和告警,同时在得到权限许可后以预测峰值除以单位应用服务承载力并向上取整的服务量配给,以指令的方式传递给总前系统。总前系统在获取调配信息后,对指定业务系统的应用服务资源做指令调配。最终实现一套完整的从业务预测到应用资源调配的过程,提升效率的同时为容量风控提供保障。
[0115] 参照图2至图5,本发明的概括性实施例二:
[0116] 一种容量数据处理和调配方法,所述方法包括:
[0117] 步骤s201,总前系统统计自身服务量供应情况并调整分配至各业务流程的系统中;步骤s202,总前系统通过渠道接入完整业务所需的渠道系统与业务系统;
[0118] 步骤s203,基于系统压力测试计算承载力数据,基于监听装置采集统计业务指标数据;
[0119] 步骤s204,数据采集同步器管理采集装置,接收数据并进行系统归类后传递至容量平台服务器;
[0120] 步骤s205,基于分析选取目标指标;如存在建模需求,则跳转到步骤s301;如存在预测值,则跳转到步骤s601;
[0121] 步骤s601,预测结果反馈至容量平台服务器,基于阈值和预测值关系,展示是否告警状态并计算传递调配参数;
[0122] 步骤s602,应用服务调配器接受调配参数,基于承载力数据与预测阈值差计算获得服务调整值,对指定系统发送服务量配给请求;跳转到步骤s201;
[0123] 步骤s301,容量平台服务器按需求向算法平台分析服务器发送目标指标的预测请求;
[0124] 步骤s302,算法平台服务器对目标指标的指标编码和目标指标所处的系统编码进行识别;
[0125] 步骤s303,依据系统编码和指标编码查询系统数据特征;
[0126] 步骤s304,计算预测特征数据的时间长度;
[0127] 步骤s103,判断是否平移拟合;确定是平移拟合时跳转到步骤s104,当确定非平移拟合时,跳转到步骤s107;
[0128] 步骤s104,计算增长率,将增长率写入中间数据库;
[0129] 步骤s105,进行平移结构判断和增长权重计算;
[0130] 步骤s106,获取增长率、增长权重计算平移拟合,跳转到步骤s116,
[0131] 步骤s107,序列分解拟合模型构建;
[0132] 步骤s108,拟合模型优化并实现预测;
[0133] 步骤s109,根据特征数据时间长度判断调整方式,如过增长率按月特征调整,跳转到步骤s110;如果预测长度按照偏差调整,跳转到步骤s113;
[0134] 步骤s110,计算增长率,将增长率写入中间数据库;
[0135] 步骤s111,获取增长率按月特征调整,跳转到步骤s116;
[0136] 步骤s113,计算预测偏差作为调整方案,入库;
[0137] 步骤s114,获取预测长度偏差调整;
[0138] 步骤s115,基于偏差幅度二次调整;
[0139] 步骤s116,预测数据保存和/或直接跳转到步骤601。
[0140] 一种容量资源自动调配系统,包括:各种业务;和/或若干渠道系统;总前系统;若干业务系统;数据采集同步器;应用服务调配器;容量平台服务器;算法分析服务器;数据库以及,若干个存储器,用于存储一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现所述的容量数据处理和调配方法。
[0141] 一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现所述的容量数据处理和调配方法
[0142] 参照图2至图5,本发明的具体实施例三
[0143] 现假设总前系统接入了电子支付平台系统,编码为EPAY,在该业务系统接入时,需要进行压力测试,压力测试后可以得到承载力数据,对应系统的当前应用服务量由总前系统设计得出为2个,对应电子支付平台下,某一指标日交易量,编码为RJYL,其可以得到在EPAY系统内当前条件下的阈值,为600000;同时可以根据应用服务量、阈值和参数设定计算得到EPAY系统下RJYL指标的单位承载力为C=100000/item。以上数据作为承载力数据传输给数据采集同步器。
[0144] 在EPAY系统接入后的一段时间内,数据采集同步器通过在EPAY系统内置的监听器不断采集时间维度的交易量瞬时指标。所有瞬时指标均在采集同步器中进行统计加工,加工成为以日为单位的加工指标,在此例中即可获得RJYL的指标。同时将指标的承载力数据和系统信息整理为信息并存至加工的业务指标数据,一同传递至容量平台服务器。
[0145] 容量平台服务器接收承载力数据和业务指标数据后,将两者以系统、指标进行分类并存储。在收到预测任务时,则向算法平台服务器发送请求,请求内容包括系统编码EPAY、指标编码RJYL、历史数据长度最多、预测数据长度30日。
[0146] 算法平台服务器接收预测请求后,即可开始预测流程,首先依据请求参数获取历史数据,即为加工后的业务指标数据,此例中为EPAY系统的RJYL指标的时序数据。由于请求中为历史数据最长,则算法平台服务器到数据库中完整查询目标数据,获得每日有一个值的时序数据列如表所示。
[0147] 2018‑08‑18 2018‑08‑19 … 2019‑01‑01 … 2019‑12‑31429257 1179578 … 821226 … 601519
[0148] 其次,得到该时间序列数据(y1,…,yp)后,计算最早日期和最近日期的日期差作为特征数据的时间长度P,这里可以计算得P为500。对P与L的关系做判断以选用何种拟合模型,当P大于三倍的L时,使用序列分解拟合,不大于时选用平移拟合,此处选用前者。
[0149] 对时序数据的分解拟合过程分为两步,第一步为模型的构建,第二步为优化求解。构建模型即为当前的时序数据(y1,…,yp)构建满足所有数据点的函数yt=y(t)=g(t)+s(t)+h(t)+ε,最后一项为误差项无法预测,则将原有的时序数据分解为三部分时序数据,分别为趋势项、周期项、特殊项。
[0150] 对于趋势项,采用分段线性回归函数。首先在时序数据(y1,…,yp)中每间隔L日设置1个变点且最后一个变点与业务日期间隔不低于L日,变点位置为分段线性函数的分段点,其序列为(2018‑09‑16,2018‑10‑15,…,2019‑11‑29)共15个变点。由于线性函数的表达式为y=kt+b,于是通过设置的分段点将该分段线性函数表达为:
[0151] g(t)=(k+a(t)δ)·t+(m+a(t)Tγ),公式中k为初始的增长率,(s1,…,s15)为15个变点, 即为15个变点处增长率组合成的向量,每个增长率的设置满足拉普拉斯分布即δj~Laplace(0,τ),由历史时序数据的极差与平均的商计算得出τ的值为0.105,于是可以得到随机分布下的增长率:
[0152] δ=[0.56140769,1.00103428,‑0.04021555,0.06693926,…,0.6871913],由此可以得到关于k的所有分段线性函数的增长率, 作为指示函数表达了每个T
增长率所处的分段位置。公式中m为初始的偏移,γ=(γ1,…,γ15) ,γj=‑sjδj为增长率T
影响下的偏移增量,由指示函数的转置aj(t)得到每个分段的偏移增量,与m共同形成总偏移。将直角坐标系x轴0点设置为日期2018‑08‑18,增加日期至500为业务日期,m为第一日数值429257,k为第一段平均增长1.0243,最终得到趋势项模型优化前表达式:
[0153]
[0154] 对于周期项,由于P<365*2未满足两年则采用周为周期,即可得到3级、周期为7的傅里叶级数 并根据正态分布初始化级数2
中周期幅度参数向量,即β=(a1,b1,…,a3,b3)~Normal(0,σ),其中σ由历史时序数据中预测时长L为时间窗口计算极差值与平均值的商,再在所有窗口中的平均得到为1.773.于是得到初始参数序列值:
[0155] [a1,b1,…,a3,b3]=[‑4.1,6.5,2.1,‑5.8,0.56,1.5]可以最终得到周期项模型初始表达式:
[0156]对于特殊项,需要对每个不同的节
2
日做单独的模型构建 其中κ~Normal(0,υ)为初始状
态下数据每个特殊日期下特殊影响效果,υ默认10,但特殊节假日可以设置更大以体现其影响,对于当前数据将春节、双十一、国庆、情人节、劳动节加入模型,虽然预测时间段并未有特殊日期,但历史数据中有完整包括,需要作为影响考量进去,最终得到特殊项模型初始表达式:
[0157]
[0158] 综上得到尚未进行优化拟合的整体分解模型 该模型可以将每个历史时序数据带入后得到当前拟合值,完成模型构建后开始第二步优化求解。
优化目标为使得在每个历史时序数据上,真实值与模型拟合值整体尽可能相近,即优化求解新函数 的最小值,又由于该函数中存在大量已初始化的可变参数,
即每个分解项中的参数,包括:
[0159] g(t)=g(t,k,m,δ)和s(t)=s(t,a1,b1,a2,b2,a3,b3)和h(t)=h(t,κ),进[0160] 而优化函数F需要优化变为求:
[0161] minF=minF(X)=minF(k,m,δ,a1,b1,…,κ)。
[0162] 求解方法采用L‑BFGS算法,首先对目标函数F(X)在k处二次泰勒展开并忽略高阶无穷小部分,并求导得到:
[0163] F′(X)=F′(Xk)+F″(Xk)(X‑Xk),令F′(X)=0时为所求最小值,则得到Xk+1=Xk‑H‑1·‑1gk,k=0,1,…其中H 为目标函数二阶导函数的倒数,由于多参数原因是矩阵形式,gk为目标函数一阶导函数,当k为0时,即可通过该公式和初始化的模型参数X0计算得到优化一次* * * * * * *
后参数X1,然后不停迭代至最优参数X=(k ,m ,δ,a1,b1 ,…,κ),即可获得能使模型拟合效果最优的参数组合,模型优化完成。每次迭代过程需要计算目标函数的二阶导倒数和一阶导数,后者计算简单,前者计算通过双重迭代逼近的方式得到,即:
[0164] sk=Xk+1‑Xk,yk=gk+1‑
[0165] gk,并且每次迭代中并不是直接迭代计算矩阵,而是迭代计算迭代次数10以内的sk和yk,以减少计算量。
[0166] 完成模型拟合后,可以根据模型直接预测L日的交易量数值得到(46800,518422,…,539076),但仍需对预测值做一定的调整。调整的方法选择取决于历史数据时间长度,即判断历史数据时间长度是否超过两年与预测时间段长度的和,有则同样采用预测长度偏差调整,无则采用增长率按月特征调整。由于P<365*2,所以这里采用增长率按月调整。
[0167] 该调整方案需首先计算历史数据的增长率,在历史的500日中,由于本次模型中仅对周做了周期项的拟合且拟合长度未超过两年,在不需要考虑年周期的前提下,需要考虑月的增长率和是否工作日的增长率作为调整重点,辅助增加特殊日期的调整。此处计算每月的平均增长率rm,计算方法即在历史数据中首先计算每月的日平均Rmonth=(463272,458594,…,507193)共12个值,再计算该日平均的差分作为每月的增长率,进而将差分求平均得到平均每月增长率rm=2902。此处计算500日中所有工作日的平均增长率rwd、所有周末的平均增长率rwe增长率均是通过差分除以划分维度计算得到,工作日的划分维度为(1,1,
1,1,3)、周末划分维度为(1,6),将所有工作日历史数据顺次排列后做差分并除以各自划分维度,这里周五至周一的差分除以3,同样将所有周末历史数据顺次排列后差分并除以划分维度,这里周日至周一的差分除以6,再将各自差分平均得到平均增长率,分别得到两个平均增长率数值3300、‑740,对于特殊日期首先查看预测日期中是否存在特殊日期,此例中仅考虑春节一日时,即2020‑01‑25为特殊日期,其次查看春节在历史数据中是否存在,例中存在日期2019‑02‑05一日,则直接将历史该日数值直接应用于预测日期2020‑01‑25且该日预测值为最终数值。如果历史数据中存在多个周期的特殊日期,则在直接应用最近日期的历史值之后再计算特殊日期的增长率修改为最终数值。对于非特殊日期,将剔除特殊日期的
29个预测日期数值依照与业务日期的间隔,以一半工作日或休息日增长、一半月增长的总增长效果增长调整预测值。从2020‑01‑01至2020‑01‑30中去除2020‑01‑25日的29日预测偏差将如此:
[0168]完成增长率偏差计算后即可将该偏差加入
原预测结果,即可得到调整后的预测结果:
[0169] 作为最后预测结果保存入库。
[0170] 情形二:
[0171] 在采用序列分解拟合模型的同时例举使用预测长度偏差调整的情况。假设历史数据有三年,即历史数据如下所示:
[0172]2017‑01‑01 2017‑01‑02 … 2019‑01‑01 … 2019‑12‑31
327536 401822 … 821226 … 601519
[0173] 当需求预测仍旧为2020‑01‑01至2020‑01‑31日的30个日交易量数值时,预测长度L为30,历史数据时间长度P为1095。由于P>L*3,所以在模型选取判断中仍旧采用序列分解拟合模型,本次的模型构建区别于情形一中周期项的选择,这里将采用以周和年两个部分的周期项,此处年的周期项采用周期为365.25,级数为10的傅里叶级数。除此之外其他参数的设定和优化过程与情形一类似,在此不一一赘述。
[0174] 在经过模型的构建和优化后,最后可得到通过模型拟合得到的业务日期开始未来30日的预测数据(46800,518422,…,539076),同样按照历史数据时间长度来判断采用的调整方式。此次由于P>365*2,所以采用预测长度偏差调整方法。
[0175] 预测长度偏差调整中,主要由历史数据中真实值与拟合得到的预测值之间的偏差作为未来同时段的调整结果。将业务日期T向历史推移L日,根据历史剔除30日的共1065日2017‑01‑01至2019‑12‑01日的历史数据,重新以本情形下序列分解方式拟合并预测该新业务日期后30日的日交易量。即根据模型拟合该新业务日期后30日的日交易量。
[0176] 由此获得2019‑12‑02日至2019‑12‑31日这30日的历史真实值:
[0177] (437200,468382,…,518956),和分解拟合预测值:
[0178] (440020,438922,…,373933),预测值与真实值做差得到30日的偏差(εT‑29,…,εT)=(2820,‑29460,…,‑185023),将该30个偏差分别作用于未来的预测结果,即可获得调整后30日预测数据 观察调整后预测值与调整前预测值的变化比例,当偏差幅度超过预测值基准的30%或70%,分别进一步进行常规识别调整和特殊化调整。此处2020‑01‑30日需要常规识别调整,识别该日为工作日、非特殊日,即通过所有历史数据计算工作日的平均增长率rwd=714,进而从业务日期开始累计增长率并将二次调整数值714*29加入调整后预测值。此处2020‑01‑24日需要特殊化调整时,由于该日为除夕特殊日,则将上一周期除夕日数据附加除夕日的平均增长率作为本次预测的最终结果,假设除夕日并未作为特殊日,则将该日期特殊数据暂时作为异常不做二次调整,并将情况报告给技术人员。最终可以得到对2020‑01‑24日和2020‑
01‑30日进行过二次调整的预测数据,作为最后预测结果保存入库。
[0179] 后续工作中判断该30日的预测数值是否超过预先设定的阈值,当存在超过阈值的预测数据时,将作为预警信息报告给应用领域管理系统。
[0180] 情形三
[0181] 当预测需求仍旧是30日时,若此时能够使用的历史数据十分少,并未达到三倍的预测日期长度,即P<3*L,那么采用平移拟合方法来做预测。此时假设历史数据时间长度为61,即如下所示。
[0182] 2019‑11‑01 2019‑11‑02 … 2019‑12‑01 … 2019‑12‑31818657 481261 … 425818 … 601519
[0183] 得到历史数据后首先计算该系统下该指标历史数据的工作日增长率、周末增长率、月增长率、年增长率,在实例中由于历史数据仅有61日,年增长率无法计算,其他均可以计算得到。计算方法在增长率调整中有详细描述,依据各自划分维度下平均数值的差分作为增长率,而其各自差分的平均即为平均增长率,所以可计算条件为需要满足存在至少两个周期。可以计算得到月平均增长率rm=28762、所有工作日的平均增长率rwd=253、所有周末的平均增长率rwe=3467。其次,同预测长度偏差调整中第一步一致,将业务日期T向历史推移L日,将新业务日期与旧业务日期间的30日数据直接平移至未来预测时间段,以此得到平移后基准的30日预测值(945504,…,601519),其次基于此基准预测值对每日做各增长率的调整。增长率的分量由前所述公式可以得到,由于无年增长率,则工作日增长率、周末增长率、月增长率的比例分配为(0.5,0.5,0.5)。由此可以计算得到30日的增长率偏差为[0184]最后此处同增长率调整中类似操作将增长率偏差加入平移基准数值,即可
得到模型拟合后业务日期后30日的预测日交易量。
[0185] 综上,当实现预测并入库后,下面通过实例介绍预警和优化策略反馈方式。
[0186] 假设根据以上情形,已有在业务日期T后的30日预测数值,应用指标为EPAY系统的日交易量指标。首先基于已有信息,调取EPAY系统下日交易量指标的阈值G和单位承载力C。当对于阈值G=600000,根据30个预测值
判断预测值的最大值与阈值的关
系,最大值为 由于 所以需要进行容量预测的告警,在业务
员确认并通过调配请求后,即可将调配参数传递至应用服务调配器,在调配器中根据单位承载力C=100000/item,计算得到需要增长的应用服务数为1个,将该数值作为指令传递至总前系统,总前系统作为所有纳管业务系统的出入口,可以依据该指令对EPAY系统的分配应用服务数做1单位的增长,实现预警机制。
[0187] 总前系统在接收指令后,将应用服务配给方案转变为系统内部指令,经由监听器标记接入系统EPAY。对于增加应用服务,需要服务配置器对标记的系统进行指定数量的服务复制,并启动,后续总前系统CPU可自动根据不同系统的不同服务数量做均衡的进程处理。对于减少应用服务,只需服务配置器结束标记系统下的指定数量的应用服务,总前系统CPU同样可以自动均衡进程处理,后续服务配置器需要回收未启动的服务。
[0188] 总前系统下对于某一接入系统的应用服务量调整后,会使得该接入系统的渠道得到提升或缩减,无论总前系统的总处理能力是否变化,接入系统的响应能力和业务处理能力均会基于应用服务量占比的变化而变化,也即为对总前系统物理资源的使用占比变化。
[0189] 之后通过,公式中k为初始的增长率,为15个变点,即为15个变点处增长率组合成的向量,每个增长率的设置满足拉普拉斯分布即,由历史时序数据的极差与平均的商计算得出的值为0.105,于是可以得到随机分布下的增长率,由此可以得到关于k的所有分段线性函数的增长率,作为指示函数表达了每个增长率所处的分段位置。公式中m为初始的偏移,为增长率影响下的偏移增量,由指示函数的转置得到每个分段的偏移增量,与m共同形成总偏移。将直角坐标系x轴0点设置为日期2018‑08‑18,增加日期至500为业务日期,m为第一日数值4。可以最终得到周期项模型初始表达式对于特殊项,需要对每个不同的节日做单独的模型构建h,其中为初始状态下数据每个特殊日期下特殊影响效果,默认10,但特殊节假日可以设置更大以体现其影响,对于当前数据将春节、双十一、国庆、情人节、劳动节加入模型,虽然预测时间段并未有特殊日期,但历史数据中有完整包括,需要作为影响考量进去,最终得到特殊项模型初始表达式和和,进而优化函数F需要优化变为求。,令时为所求最小值,则得到其中为目标函数二阶导函数的倒数,由于多参数原因是矩阵形式,为目标函数一阶导函数,当k为0时,即可通过该公式和初始化的模型参数计算得到优化一次后参数,然后不停迭代至最优参数,即可获得能使模型拟合效果最优的参数组合,模型优化完成。每次迭代过程需要计算目标函数的二阶导倒数和一阶导数,后者计算简单,前者计算通过双重迭代逼近的方式得到,即,并且每次迭代中并不是直接迭代计算矩阵,而是迭代计算迭代次数10以内的和,以减少计算量。,完成增长率偏差计算后即可将该偏差加入原预测结果,即可得到调整后的预测结果,作为最后预测结果保存入库。最后此处同增长率调整中类似操作将增长率偏差加入平移基准数值,即可得到模型拟合后业务日期后30日的预测日交易量。基于同一发明构思,本申请实施例提供了一种电子装置,如图6所示,电子装置包括存储器和处理器,存储器与处理器通信连接。
[0190] 存储器存储有计算机程序,计算机程序由处理器执行时,实现本申请实施例提供的数据处理、调配方法。
[0191] 本技术领域技术人员可以理解,本申请实施例提供的电子装置可以为所需的目的而专门设计和制造,或者也可以包括通用计算机中的已知设备。例如,电子设备可以是手机、平板电脑、笔记本电脑、超级移动个人计算机(ultra‑mobile personal computer,UMPC)、上网本等设备,本申请实施例对电子装置的具体类型不作任何限制。这些设备具有存储在其内的计算机程序,这些计算机程序选择性地激活或重构。这样的计算机程序可以被存储在设备(例如,计算机)可读介质中或者存储在适于存储电子指令并分别耦联到总线的任何类型的介质中。
[0192] 本申请的电子设备中的存储器可以是ROM(Read‑Only Memory,只读存储器)或可存储静态信息和指令的其他类型的静态存储设备,可以是RAM(Random Access Memory,随机存取存储器)或者可存储信息和指令的其他类型的动态存储设备,也可以是EEPROM(Electrically Erasable Programmable Read Only Memory,电可擦可编程只读存储器)、CD‑ROM(Compact Disc Read‑Only Memory,只读光盘)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质,但不限于此。
[0193] 本申请的电子设备中的处理器可以是CPU(Central Processing Unit,中央处理器)、通用处理器,DSP(Digital Signal Processor,数据信号处理器)、ASIC
[0194] (Application Specific Integrated Circuit,专用集成电路)、FPGA(Field‑Programmable Gate Array,现场可编程门阵列)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框,模块和电路。处理器也可以是实现计算功能的组合,例如包含一个或多个微处理器组合,DSP和微处理器的组合等。
[0195] 本申请实施例提供的电子装置,与前面所述的各实施例具有相同的发明构思,该电子设备中未详细示出的内容可参照前面所述的各实施例,在此不再赘述。
[0196] 基于同一发明构思,本申请实施例提供了一种计算机可读存储介质,存储介质上存储有计算机程序,计算机程序被服务器的处理器执行时实现本申请实施例提供的数据脱敏方法。
[0197] 本申请提供的计算机可读介质包括但不限于任何类型的盘(包括软盘、硬盘、光盘、CD‑ROM、和磁光盘)、ROM、RAM、EPROM(Erasable Programmable Read‑Only Memory,可擦写可编程只读存储器)、EEPROM、闪存、磁性卡片或光线卡片。也就是,可读介质包括由设备(例如,计算机)以能够读的形式存储或传输信息的任何介质。
[0198] 本申请实施例提供的计算机可读存储介质,与前面所述的各实施例具有相同的发明构思,该计算机可读存储介质中未详细示出的内容可参照前面所述的各实施例,在此不再赘述。步骤、措施、方案可以被交替、更改、组合或删除。进一步地,具有本申请中已经讨论过的各种操作、方法、流程中的其他步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。进一步地,现有技术中的具有与本申请中公开的各种操作、方法、流程中的步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。
[0199] 理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请的描述中,除非另有说明,“多个”的含义是两个或两个以上。这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,其可以以其他的顺序执行。而且,附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,其执行顺序也不必然是依次进行,而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
[0200] 以上所述,仅是本发明的较佳实施例而已,并非对本发明的结构作任何形式上的限制。凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰,均属于本发明的技术方案范围内。