水库入库流量预测方法、装置、计算机设备及存储介质

摘要

本发明公开了水库入库流量预测方法、装置、计算机设备及存储介质，该方法包括：获取水库入库流量的历史多元数据序列，并对历史多元数据序列进行预处理；对历史多元数据序列进行全采样，得到第一数据集，以及利用自适应间隔采样对历史多元数据序列构建得到第二数据集；通过Transformer网络分别对第一数据集和第二数据集提取相关性特征，得到第一目标特征和第二目标特征；对第一目标特征和第二目标特征进行拼接，得到候选特征，然后通过Transformer网络对候选特征提取相关性特征，得到第三目标特征；将第一目标特征、第二目标特征和第三目标特征进行全连接处理得到历史多元数据序列对应的水库入库流量预测结果。本发明可有效提高水库入库流量的预测精度。

权利要求

1.一种水库入库流量预测方法，其特征在于，包括：获取水库入库流量的历史多元数据序列，并对所述历史多元数据序列进行预处理，其中，所述历史多元数据序列包括目标序列水库入库流量以及对应的外部环境变量；

对所述历史多元数据序列进行全采样，得到第一数据集，以及利用自适应间隔采样对所述历史多元数据序列构建得到第二数据集；

所述利用自适应间隔采样对所述历史多元数据序列构建得到第二数据集，包括：按照下式对所述历史多元数据序列进行数据偏移界定：式中，C为所述历史多元数据序列中的偏离数量， 为在t时刻的时序数据， 为在t时刻运用插值拟合的时序数据， 表示时序数据与拟合数据之间的欧几里得距离；ε为阈值，表示四分位数间距， 表示若 满足则等于1，否则记为0；

定义所述历史多元数据序列的序列总长度为M、每次采样滑窗的大小为R、每次预测使用的历史数据量为T以及采样间隔d，从而得到一次滑窗中采样数量为 偏移程度为然后基于采样数据和偏移程度对采样间隔d进行计算：通过Transformer网络分别对所述第一数据集和第二数据集提取相关性特征，得到第一目标特征和第二目标特征；

对所述第一目标特征和第二目标特征进行拼接，得到候选特征，然后通过所述Transformer网络对所述候选特征提取相关性特征，得到第三目标特征；

将所述第一目标特征、第二目标特征和第三目标特征进行全连接处理得到历史多元数据序列对应的水库入库流量预测结果，从而构建水库入库流量预测模型；

利用所述水库入库流量预测模型对指定时间的水库入库流量进行预测。

2.根据权利要求1所述的水库入库流量预测方法，其特征在于，所述获取水库入库流量的历史多元数据序列，并对所述历史多元数据序列进行预处理，包括：利用异常值检测方法对所述历史多元数据序列进行异常值检测，并将检测到的异常值剔除；

对剔除后的历史多元数据序列进行缺失值判断；

若所述历史多元数据序列中的缺失值少于预设数值，则对缺失值进行填充；

若所述历史多元数据序列中的某一特征序列的缺失值不少于预设数值，则删除对应的特征序列；

按照下式对所述历史多元数据序列进行归一化处理，以对所述历史多元数据序列中的不同量纲进行统一：

式中，zi为经过归一化处理之后的历史多元数据序列，xi为所述历史多元数据中的第i个特征序列，μi为特征序列xi的均值，σi为特征序列xi的标准差。

3.根据权利要求1所述的水库入库流量预测方法，其特征在于，所述通过Transformer网络分别对所述第一数据集和第二数据集提取相关性特征，得到第一目标特征和第二目标特征，包括：

通过Transformer网络对所述第一数据集提取相关性特征，得到第一特征向量，以及通过所述Transformer网络对所述第二数据集提取相关性特征，得到第二特征向量；

基于门控机制分别对所述第一特征向量和第二特征向量进行特征提取，得到第一目标特征和第二目标特征。

4.根据权利要求3所述的水库入库流量预测方法，其特征在于，所述通过Transformer网络分别对所述第一数据集和第二数据集提取相关性特征，得到第一目标特征和第二目标特征，包括：

分别按照下式对所述第一数据集中的特征序列进行查询向量、键向量和值向量计算：Q

q:i＝xi·W

K

k:i＝xi·W

V

v:i＝xi·W

式中，xi为所述第一数据集中的第i各个特征序列，q:i、k:i和v:i分别表示特征序列xi的Q K V

查询向量、键向量和值向量，W、W 和W分别表示将特征序列xi映射为q:i、k:i和v:i的权重矩阵；

基于每一特征序列的查询向量、键向量和值向量对每一特征序列在所述第一数据集中的权重向量进行计算：

式中，α:i为特征序列xi的权重向量，K为由所有特征序列的键向量组成的矩阵，d为查询向量与键向量的维度；

将每一特征序列的权重向量输入至单头自注意力网络中，并按照下式计算得到单头自注意力网络的输出向量c:i：

c:i＝V·α:i

式中，V为由所述第一数据集中的所有特征序列的值向量组成的矩阵；

基于多头注意力结构，对上述得到单头自注意力网络的输出向量步骤重复进行Q次，得到Q个输出向量，然后将Q个输出向量进行拼接，并对拼接结果进行线性变换，得到第一目标向量；

按照下式对所述第一目标向量进行残差连接与归一化处理，得到第二目标向量：式中，Z为第二目标向量X为所述第一数据集的输入序列，C为所述第一目标向量，μ′为所述第一目标向量进行残差连接后的均值，σ′为所述第一目标向量进行残差连接后的标准差；

将所述第二目标向量输入至前馈神经网络中，按照下式获取经由所述前馈神经网络输出的第三目标向量：

Z′＝f(w2*f(w1*Z+b1)+b2)式中，Z为所述第二目标向量，Z′为所述第三目标向量，w1,w2,b1,b2均为训练参数；

对所述第三目标向量进行残差连接与归一化处理，得到所述第一特征向量。

5.根据权利要求4所述的水库入库流量预测方法，其特征在于，所述基于门控机制分别对所述第一特征向量和第二特征向量进行特征提取，得到第一目标特征和第二目标特征之前，还包括：

将所述第一特征向量分别输入至双向长短时记忆循环神经网络与sigmoid函数中，按照下式计算获得第一融合特征 和第一概率向量式中，f为双向长短时记忆循环神经网络的函数集合，σ为sigmoid函数， 为t时刻的第一特征向量， 为t‑1时刻的第一特征向量，WZ′、bZ′是线性变换的两个训练参数；

将所述第二特征向量分别输入至双向长短时记忆循环神经网络与sigmoid函数中，按照下式计算获得第二融合特征 和第二概率向量式中，f为双向长短时记忆循环神经网络的函数集合，σ为sigmoid函数， 为t时刻的第二特征向量， 为t‑1时刻的第二特征向量，WZ″、bZ″是线性变换的两个训练参数。

6.根据权利要求5所述的水库入库流量预测方法，其特征在于，所述基于门控机制分别对所述第一特征向量和第二特征向量进行特征提取，得到第一目标特征和第二目标特征，包括：

利用门控机制对所述第一特征向量按照下式进行特征捕捉，得到所述第一目标特征：式中， 为所述第一目标特征， 为所述第一特征向量， 为第一概率向量；

利用门控机制对所述第二特征向量按照下式进行特征捕捉，得到所述第二目标特征：式中， 为所述第二目标特征， 为所述第二特征向量， 为第二概率向量。

7.一种水库入库流量预测装置，其特征在于，包括：预处理单元，用于获取水库入库流量的历史多元数据序列，并对所述历史多元数据序列进行预处理，其中，所述历史多元数据序列包括目标序列水库入库流量以及对应的外部环境变量；

采样单元，用于对所述历史多元数据序列进行全采样，得到第一数据集，以及利用自适应间隔采样对所述历史多元数据序列构建得到第二数据集；

所述采样单元602包括：

界定单元，用于按照下式对所述历史多元数据序列进行数据偏移界定：式中，C为所述历史多元数据序列中的偏离数量， 为在t时刻的时序数据， 为在t时刻运用插值拟合的时序数据， 表示时序数据与拟合数据之间的欧几里得距离；ε为阈值，表示四分位数间距， 表示若 满足则等于

1，否则记为0；

定义单元，用于定义所述历史多元数据序列的序列总长度为M、每次采样滑窗的大小为R、每次预测使用的历史数据量为T以及采样间隔d，从而得到一次滑窗中采样数量为 偏移程度为 然后基于采样数据和偏移程度对采样间隔d进行计算：第一特征提取单元，用于通过Transformer网络分别对所述第一数据集和第二数据集提取相关性特征，得到第一目标特征和第二目标特征；

拼接单元，用于对所述第一目标特征和第二目标特征进行拼接，得到候选特征，然后通过所述Transformer网络对所述候选特征提取相关性特征，得到第三目标特征；

全连接单元，用于将所述第一目标特征、第二目标特征和第三目标特征进行全连接处理得到历史多元数据序列对应的水库入库流量预测结果，从而构建水库入库流量预测模型；

预测单元，用于利用所述水库入库流量预测模型对指定时间的水库入库流量进行预测。

8.一种计算机设备，其特征在于，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述的水库入库流量预测方法。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述的水库入库流量预测方法。

说明书

水库入库流量预测方法、装置、计算机设备及存储介质

技术领域

[0001] 本发明涉及水库流量预测技术领域，特别涉及水库入库流量预测方法、装置、计算机设备及存储介质。

背景技术

[0002] 随着科技与社会的进步，工业领域对智能化的需求越来越迫切，而时序数据预测作为实现工业智能化的基础，也越发被研究者所重视，有着广泛的应用场景。但是目前工业
数据的采集通常从多个维度进行，这就导致产生的时序数据大多以多元特征的形式出现，
并且通常伴随有一定的非平稳以及时序相关性。比如对水力发电领域的水库入库流量的预
测就是利用水库泄水与蓄水情况、上下游干支流测站的流量情况、水位变化情况、土壤含水
量、降雨量等多种水文要素，并将其输入模拟河川径流产流过程的物理模型中进行水库入
库流量的预测。因此研究多元的非平稳时间序列的水库入库流量的预测具有重要的现实意
义。

[0003] 目前水库入库流量的预测主要是分为三类：第一类是成因分析法。这类方法一般是使用物理模型来模拟相应的水库入库流量过程来对其进行预测。成因分析法原理虽然较
为简单，但是对建立物理模型所需要的部分细节数据却难以搜集，除此之外，数据普遍都具
有一定的非线性与非恒定性，使用单纯的物理模型难以对其进行准确模拟。

[0004] 第二类是概率统计方法。这类方法一般是从大量的水库入库流量的历史数据中寻求规律进行水库入库流量的预测。根据特征的个数分为单因素模型与多因素模型，常用的
单因素模型有自回归模型(AR、MA、ARIMA、SARIMAX等自回归模型)，趋势分析法等，这类方法
在平稳、线性的条件下具有较好的预测结果，但是对于非线性的时序数据建模效果不理想。
除此之外，该类模型也难以对多元数据进行建模。多因素模型包括有多元回归、决策树、随
机森林等，这些方法虽然能对更多的特征进行分析，在一定程度提升预测的精度，但是却难
以对各特征之间的相关性信息进行提取。

[0005] 第三类是基于神经网络的水库入库流量的预测方法，比如循环神经网络(Recurrent Neural Network，RNN)，长短期记忆模型循环神经网络(Long Short‑Term 
Memory RNN，LSTM)，门控循环单元(Gated Recurrent Unit，GRU)等，该类方法在捕捉水库
入库流量的时序数据的非平稳、非线性关系方面展现出了巨大的灵活性，但是不管是传统
的RNN，还是改进的LSTM，GRU都难以对时序数据长期的依赖关系进行抓取，因此在输入数据
序列长度增加时，该类方法的预测精度会有所降低。

发明内容

[0006] 本发明实施例提供了一种水库入库流量预测方法、装置、计算机设备及存储介质，旨在提高水库入库流量的预测精度。

[0007] 第一方面，本发明实施例提供了一种水库入库流量预测方法，包括：

[0008] 获取水库入库流量的历史多元数据序列，并对所述历史多元数据序列进行预处理，其中，所述历史多元数据序列包括目标序列水库入库流量以及对应的外部环境变量；

[0009] 对所述历史多元数据序列进行全采样，得到第一数据集，以及利用自适应间隔采样对所述历史多元数据序列构建得到第二数据集；

[0010] 通过Transformer网络分别对所述第一数据集和第二数据集提取相关性特征，得到第一目标特征和第二目标特征；

[0011] 对所述第一目标特征和第二目标特征进行拼接，得到候选特征，然后通过所述Transformer网络对所述候选特征提取相关性特征，得到第三目标特征；

[0012] 将所述第一目标特征、第二目标特征和第三目标特征进行全连接处理得到历史多元数据序列对应的水库入库流量预测结果，从而构建水库入库流量预测模型；

[0013] 利用所述水库入库流量预测模型对指定时间的水库入库流量进行预测。

[0014] 第二方面，本发明实施例提供了一种水库入库流量预测装置，包括：

[0015] 预处理单元，用于获取水库入库流量的历史多元数据序列，并对所述历史多元数据序列进行预处理，其中，所述历史多元数据序列包括目标序列水库入库流量以及对应的
外部环境变量；

[0016] 采样单元，用于对所述历史多元数据序列进行全采样，得到第一数据集，以及利用自适应间隔采样对所述历史多元数据序列构建得到第二数据集；

[0017] 第一特征提取单元，用于通过Transformer网络分别对所述第一数据集和第二数据集提取相关性特征，得到第一目标特征和第二目标特征；

[0018] 拼接单元，用于对所述第一目标特征和第二目标特征进行拼接，得到候选特征，然后通过所述Transformer网络对所述候选特征提取相关性特征，得到第三目标特征；

[0019] 全连接单元，用于将所述第一目标特征、第二目标特征和第三目标特征进行全连接处理得到历史多元数据序列对应的水库入库流量预测结果，从而构建水库入库流量预测
模型；

[0020] 预测单元，用于利用所述水库入库流量预测模型对指定时间的水库入库流量进行预测。

[0021] 第三方面，本发明实施例提供了一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实
现如第一方面所述的水库入库流量预测方法。

[0022] 第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的水库入
库流量预测方法。

[0023] 本发明实施例提供了一种水库入库流量预测方法、装置、计算机设备及存储介质，该方法包括：获取水库入库流量的历史多元数据序列，并对所述历史多元数据序列进行预
处理，其中，所述历史多元数据序列包括目标序列水库入库流量以及对应的外部环境变量；
对所述历史多元数据序列进行全采样，得到第一数据集，以及利用自适应间隔采样对所述
历史多元数据序列构建得到第二数据集；通过Transformer网络分别对所述第一数据集和
第二数据集提取相关性特征，得到第一目标特征和第二目标特征；对所述第一目标特征和
第二目标特征进行拼接，得到候选特征，然后通过所述Transformer网络对所述候选特征提
取相关性特征，得到第三目标特征；将所述第一目标特征、第二目标特征和第三目标特征进
行全连接处理得到历史多元数据序列对应的水库入库流量预测结果，从而构建水库入库流
量预测模型；利用所述水库入库流量预测模型对指定时间的水库入库流量进行预测。本发
明实施例基于自适应间隔采样与Transformer网络，对水库入库流量对应的多元非平稳时
序数据进行预测，从而提高水库入库流量的预测精度。

附图说明

[0024] 为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普
通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

[0025] 图1为本发明实施例提供的一种水库入库流量预测方法的流程示意图；

[0026] 图2为本发明实施例提供的一种水库入库流量预测方法中步骤S101的子流程示意图；

[0027] 图3为本发明实施例提供的一种水库入库流量预测方法中步骤S103的子流程示意图；

[0028] 图4为本发明实施例提供的一种水库入库流量预测方法中步骤S301的子流程示意图；

[0029] 图5为本发明实施例提供的一种水库入库流量预测方法的网络结构图；

[0030] 图6为本发明实施例提供的一种水库入库流量预测装置的示意性框图；

[0031] 图7为本发明实施例提供的一种水库入库流量预测装置中预处理单元601的示意性框图；

[0032] 图8为本发明实施例提供的一种水库入库流量预测装置中第一特征提取单元603的示意性框图；

[0033] 图9为本发明实施例提供的一种水库入库流量预测装置中第二特征提取单元801的示意性框图。

具体实施方式

[0034] 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发
明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施
例，都属于本发明保护的范围。

[0035] 应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整
体、步骤、操作、元素、组件和/或其集合的存在或添加。

[0036] 还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上
下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。

[0037] 还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

[0038] 下面请参见图1，图1为本发明实施例提供的一种水库入库流量预测方法的流程示意图，具体包括：步骤S101～S107。

[0039] S101、获取水库入库流量的历史多元数据序列，并对所述历史多元数据序列进行预处理，其中，所述历史多元数据序列包括目标序列水库入库流量以及对应的外部环境变
量；

[0040] S102、对所述历史多元数据序列进行全采样，得到第一数据集，以及利用自适应间隔采样对所述历史多元数据序列构建得到第二数据集；

[0041] S103、通过Transformer网络分别对所述第一数据集和第二数据集提取相关性特征，得到第一目标特征和第二目标特征；

[0042] S104、对所述第一目标特征和第二目标特征进行拼接，得到候选特征，然后通过所述Transformer网络对所述候选特征提取相关性特征，得到第三目标特征；

[0043] S105、将所述第一目标特征、第二目标特征和第三目标特征进行全连接处理得到历史多元数据序列对应的水库入库流量预测结果，从而构建水库入库流量预测模型；

[0044] S106、利用所述水库入库流量预测模型对指定时间的水库入库流量进行预测

[0045] 本实施例中，在对水库入库流量进行预测时，结合图5，首先获取水库入库流量的历史多元数据序列，包括历史水库入库流量数据和对应的外部环境变量。在对所述历史多
元数据序列进行预处理后，对所述历史多元数据序列分别进行全采样和自适应间隔采样，
并利用Transformer网络对全采样得到的第一数据集和自适应间隔采样得到的第二数据集
进行相关性特征提取，得到所述第一数据集对应的第一目标特征和所述第二数据集对应的
第二目标特征。将所述第一目标特征和第二目标特征进行拼接处理，并再次通过所述
Transformer网络对拼接得到的候选特征进行特征提取，从而得到所述第三目标特征。将所
述第一目标特征、第二目标特征和第三目标特征进行全连接处理后，即可得到关于所述历
史多元数据序列的水库入库流量预测结果，从而构建得到水库入库流量预测模型。利用所
述水库入库流量预测模型便可对指定时间的水库入库流量进行预测。

[0046] 本实施例提出了一种基于自适应间隔采样与Transformer网络的多元非平稳时序数据预测方法，以达到对指定时间的水库入库流量进行预测且保证预测精度的效果。本实
施例引入自适应间隔采样构建数据集，从而对更多的历史信息加以利用，有效缓解时间序
列过长导致的信息缺失问题。同时，本实施例使用Transformer网络对数据集中的特征序列
进行特征选择，可以充分提取同时间点不同特征序列与目标序列之间的相关性关系，使特
征表征更精确。还需说明的是，本实施例提供的水库入库流量预测方法还适用于其他有关
时间序列预测的场景。

[0047] 在一实施例中，如图2所示，所述步骤S101包括：步骤S201～S205。

[0048] S201、利用异常值检测方法对所述历史多元数据序列进行异常值检测，并将检测到的异常值剔除；

[0049] S202、对剔除后的历史多元数据序列进行缺失值判断；

[0050] S203、若所述历史多元数据序列中的缺失值少于预设数值，则对缺失值进行填充；

[0051] S204、若所述历史多元数据序列中的某一特征序列的缺失值不少于预设数值，则删除对应的特征序列；

[0052] S205、按照下式对所述历史多元数据序列进行归一化处理，以对所述历史多元数据序列中的不同量纲进行统一：

[0053]

[0054] 式中，zi为经过归一化处理之后的历史多元数据序列，xi为所述历史多元数据中的第i个特征序列，μi为特征序列xi的均值，σi为特征序列xi的标准差。

[0055] 本实施例中，在获取水库入库流量对应的历史多元数据序列中，除了包括历史时间内各时间点对应的水库入库流量，还包括了对水库入库流量存在影响的外部环境变量，
例如天气预报降雨量、遥测站降雨量、气温、风向和风速等等。在一具体应用场景中，将获取
的水库入库流量表示为y＝(y1，y2，…，ym)，将对应的外部环境变量表示为(x1，x2，…，xn)。

[0056] 在获取所述历史多元数据序列后，还需对所述历史多元数据序列进行预处理，例如异常值检测、缺失值处理和原始数据标准换等。具体的，在检测所述历史多元数据序列中
的异常值时，可以根据具体的应用场景选择具体的异常值检测方法，例如3σ原则、箱型图、
DBScan聚类、孤立森林等异常值检测方法，当检测到异常值时，则将该异常值剔除，作为缺
失值处理。在对缺失值进行判断时，若所述历史多元数据序列中的某一特征序列中的缺失
值较少，可以利用插值或者回归等方式进行缺失值填充，若所述历史多元数据序列中的某
一特征序列中的缺失值较多，则采用填充方法难以对该缺失的特征序列进行精准还原，如
果强行还原可能会对预测结果造成不良影响，因此本实施例对缺失值较多的特征序列进行
删除处理。进一步的，为了统一所述历史多元数据序列的量纲，进而提升最终的预测精度，
可对所述历史多元数据序列进行标准化处理。

[0057] 在一实施例中，所述步骤S102包括：

[0058] 按照下式对所述历史多元数据序列进行数据偏移界定：

[0059]

[0060] 式中，C为所述历史多元数据序列中的偏离数量， 为在t时刻的时序数据， 为在t时刻运用插值拟合的时序数据， 表示时序数据与拟合数据之间的欧几里得
距离；ε为阈值，表示四分位数间距， 表示若 满足则等
于1，否则记为0；

[0061] 定义所述历史多元数据序列的序列总长度为M、每次采样滑窗的大小为R、每次预测使用的历史数据量为T以及采样间隔d，从而得到一次滑窗中采样数量为 偏移程度为
然后基于采样数据和偏移程度对采样间隔d进行计算：

[0062]

[0063] 本实施例中，为了保证对所述历史多元数据序列采集的合理性与有效性，对所述历史多元数据序列分别构建两个数据集，即由全采样(即对所述历史多元数据序列全部采
集)得到的第一数据集和由自适应间隔采样得到的第二数据集。在一具体应用场景中，采集
的数据集(即所述第一数据集和第二数据集)输入X的维度为[T，N+1]，输出Y维度为[P，1]，
即使用T个时间点的N+1个序列所构成的历史数据(包括特征序列与目标序列)，对未来P个
时间点的目标序列进行预测。

[0064] 在通过自适应间隔采样构建所述第二数据集时，采样的数量与对应数据的分布存在一定关系，即当数据分布平稳时，即使采集较少的数据量也能对时序数据进行较为精准
的预测；当数据波动比较大时，便需要采集较多的数据，以实现对时序数据的内在规律进行
捕捉。

[0065] 在一实施例中，如图3所示，所述步骤S103包括：

[0066] S301、通过Transformer网络对所述第一数据集提取相关性特征，得到第一特征向量，以及通过所述Transformer网络对所述第二数据集提取相关性特征，得到第二特征向
量；

[0067] S302、基于门控机制分别对所述第一特征向量和第二特征向量进行特征提取，得到第一目标特征和第二目标特征。

[0068] 本实施例中，在Transformer网络中引入门控机制，对Transformer网络提取到的隐含特征(即所述第一特征向量和第二特征向量)再次精确提取，进一步提高数据精度，从
而得到所述第一目标特征和第二目标特征，以此提高最终对于水库入库流量的准确度。

[0069] 在一实施例中，如图4所示，所述步骤S301包括：步骤S401～S407。

[0070] S401、分别按照下式对所述第一数据集中的特征序列进行查询向量、键向量和值向量计算：

[0071] q:i＝xi·WQ

[0072] k:i＝xi·WK

[0073] v:i＝xi·WV

[0074] 式中，xi为所述第一数据集中的第i各个特征序列，q:i、k:i和v:i分别表示特征序列Q K V
xi的查询向量、键向量和值向量，W、W和W分别表示将特征序列xi映射为q:i、k:i和v:i的权重
矩阵；

[0075] S402、基于每一特征序列的查询向量、键向量和值向量对每一特征序列在所述第一数据集中的权重向量进行计算：

[0076]

[0077] 式中，α:i为特征序列xi的权重向量，K为由所有特征序列的键向量组成的矩阵，d为查询向量与键向量的维度；

[0078] S403、将每一特征序列的权重向量输入至单头自注意力网络中，并按照下式计算得到单头自注意力网络的输出向量c:i：

[0079] c:i＝V·α:i

[0080] 式中，V为由所述第一数据集中的的所有特征序列的值向量组成的矩阵；

[0081] S404、基于多头注意力结构，对上述步骤重复进行Q次，得到Q个输出向量，然后将Q个输出向量进行拼接，并对拼接结果进行线性变换，得到第一目标向量；

[0082] S405、按照下式对所述第一目标向量进行残差连接与归一化处理，得到第二目标向量：

[0083]

[0084] 式中，Z为第二目标向量X为所述第一数据集的输入序列，C为所述第一目标向量，μ′为所述第一目标向量进行残差连接后的均值，σ′为所述第一目标向量进行残差连接后的
标准差；

[0085] S406、将所述第二目标向量输入至前馈神经网络中，按照下式获取经由所述前馈神经网络输出的第三目标向量：

[0086] Z′＝f(w2*f(w1*Z+b1)+b2)

[0087] 式中，Z为所述第二目标向量向量，Z′为所述第三目标向量w1,w2,b1,b2均为训练参数；

[0088] S407、对所述第三目标向量进行残差连接与归一化处理，得到所述第一特征向量。

[0089] 本实施例中，通过所述Transformer网络分别对由全采样得到的第一数据集和由自适应间隔采样得到的第二数据集进行相关性特征提取，从而使所述第一数据集和第二数
据集中的时序数据的特征表征更加精准。

[0090] 本实施例以所述Transformer网络对所述第一数据集提取相关性特征为例，具体的，首先计算所述第一数据集中的特征序列的查询向量(Query)、键向量(Key)和值向量
(Value)，根据所述查询向量、键向量和值向量可以计算得到每一特征序列在所述第一数据
集所有特征序列中的权重，然后由单头自注意力网络输出对应的输出向量。需要注意的是，
为了提高各特征序列的表征精度，本实施例中的Transformer网络采用多头注意力结构，例
如设置多头个数为Q个，那么上述得到输出向量需重复执行Q次，如此，可以得到Q个输出向
量，将Q个输出向量进行拼接和线性变换，即可得到所述第一目标向量。对所述第一目标向
量进行残差连接和归一化处理，得到所述第二目标向量，然后利用前馈神经网络对所述第
二目标向量进行计算，得到所述第三目标向量，对所述第三目标向量进一步地进行残差连
接和归一化处理，即可完成对所述第一数据集的相关性特征提取，得到所述第一特征向量。

[0091] 同理，当通过Transformer网络对所述第二数据集提取相关性特征时以及通过所述Transformer网络对所述候选特征提取相关性特征时，其具体提取过程的原理与所述第
一数据集相同，可参考上述提取过程，此处不再赘述。

[0092] 在一实施例中，所述步骤S302之前包括：

[0093] 将所述第一特征向量分别输入至双向长短时记忆循环神经网络与sigmoid函数中，按照下式计算获得第一融合特征 和第一概率向量

[0094]

[0095]

[0096] 式中，f为双向长短时记忆循环神经网络的函数集合，σ为sigmoid函数， 为t时刻的第一特征向量， 为t‑1时刻的第一特征向量，WZ′、bZ′是线性变换的两个训练参数；

[0097] 将所述第二特征向量分别输入至双向长短时记忆循环神经网络与sigmoid函数中，按照下式计算获得第二融合特征 和第二概率向量

[0098]

[0099]

[0100] 式中，f为双向长短时记忆循环神经网络的函数集合，σ为sigmoid函数， 为t时刻的第二特征向量， 为t‑1时刻的第二特征向量，WZ″、bZ″是线性变换的两个训练参数。

[0101] 本实施例中，在基于所述门控机制对所述第一特征向量和第二特征向量进行特征提取之前，采用双向长短时记忆循环神经网络(Bi－LSTM网络)分别对所述所述
Transformer网络输出的第一特征向量和第二特征向量进行融合，以及通过sigmoid函数分
别对所述第一特征向量和第二特征向量进行映射，以得到所述第一特征向量和第二特征向
量各自对应的概率，即所述第一概率向量和第二概率向量。本实施例使用Bi－LSTM网络将
关于水库入库流量的时序数据的多种特征进行循环融合，使多元时序数据具有更高的预测
精度。

[0102] 在另一实施例中，在通过所述Transformer网络对所述候选特征提取相关性特征得到所述第三特征向量后，通过所述双向长短时记忆循环神经网络对所述第三特征向量进
行融合，以得到第三融合向量，以及通过sigmoid函数对所述第三特征向量进行映射，以得
到第三概率向量。

[0103] 在一实施例中，所述步骤S302包括：

[0104] 利用门控机制对所述第一特征向量按照下式进行特征捕捉，得到所述第一目标特征：

[0105](1)

[0106] 式中，Z″t 为所述第一目标特征， 为所述第一特征向量， 为第一概率向量。

[0107] 利用门控机制对所述第二特征向量按照下式进行特征捕捉，得到所述第二目标特征：

[0108]

[0109] 式中，Z″t(2)为所述第二目标特征， 为所述第二特征向量， 为第二概率向量。

[0110] 本实施例中，采用门控机制分别对所述第一特征向量第二特征向量进一步地提取特征，不仅能够对更多的历史信息加以利用，有效缓解时间序列过长导致的信息缺失问题，
还能有选择性的对时序数据的特征再次提取，进一步提升预测准确度。

[0111] 同样的，采用所述门控机制，并结合所述第三融合向量和第三概率向量对所述第三特征向量进行特征捕捉，以得到所述第三目标特征。

[0112] 在一实施例中，所述步骤S105包括：

[0113] 将所述第一目标特征、第二目标特征和第三目标特征进行拼接，得到候选预测结果，然后对所述候选预测结果进行归一化处理，再对归一化处理后的结果进行全连接处理，
得到历史多元数据序列对应的水库入库流量预测结果，从而构建水库入库流量预测模型。

[0114] 在一实施例中，所述水库入库流量预测方法还包括：

[0115] 采用均方误差对所述水库入库流量预测模型进行参数更新：

[0116]

[0117] 式中，L为损失函数，Y为所述历史多元数据序列中的真实值，Ypre为所述历史多元i
数据序列对应的预测值，p为预测的时期数，Y 为所述历史多元数据序列中的第i个时刻的
i
真实值，Ypre为所述历史多元数据序列中的第i个时刻对应的预测值。

[0118] 本实施例中，通过均方误差对所述水库入库流量预测模型的参数进行更新，以提高所述水库入库流量预测模型的预测性能，从而提高对于水库入库流量预测的准确度。

[0119] 图6为本发明实施例提供的一种水库入库流量预测装置600的示意性框图，该装置600包括：

[0120] 预处理单元601，用于获取水库入库流量的历史多元数据序列，并对所述历史多元数据序列进行预处理，其中，所述历史多元数据序列包括目标序列水库入库流量以及对应
的外部环境变量；

[0121] 采样单元602，用于对所述历史多元数据序列进行全采样，得到第一数据集，以及利用自适应间隔采样对所述历史多元数据序列构建得到第二数据集；

[0122] 第一特征提取单元603，用于通过Transformer网络分别对所述第一数据集和第二数据集提取相关性特征，得到第一目标特征和第二目标特征；

[0123] 拼接单元604，用于对所述第一目标特征和第二目标特征进行拼接，得到候选特征，然后通过所述Transformer网络对所述候选特征提取相关性特征，得到第三目标特征；

[0124] 全连接单元605，用于将所述第一目标特征、第二目标特征和第三目标特征进行全连接处理得到历史多元数据序列对应的水库入库流量预测结果，从而构建水库入库流量预
测模型；

[0125] 预测单元606，用于利用所述水库入库流量预测模型对指定时间的水库入库流量进行预测。

[0126] 在一实施例中，如图7所示，所述预处理单元601包括：

[0127] 检测单元701，用于利用异常值检测方法对所述历史多元数据序列进行异常值检测，并将检测到的异常值剔除；

[0128] 判断单元702，用于对剔除后的历史多元数据序列进行缺失值判断；

[0129] 填充单元703，用于若所述历史多元数据序列中的缺失值少于预设数值，则对缺失值进行填充；

[0130] 删除单元704，用于若所述历史多元数据序列中的某一特征序列的缺失值不少于预设数值，则删除对应的特征序列；

[0131] 量纲统一单元705，用于按照下式对所述历史多元数据序列进行归一化处理，以对所述历史多元数据序列中的不同量纲进行统一：

[0132]

[0133] 式中，zi为经过归一化处理之后的历史多元数据序列，xi为所述历史多元数据中的第i个特征序列，μi为特征序列xi的均值，σi为特征序列xi的标准差。

[0134] 在一实施例中，所述采样单元602包括：

[0135] 界定单元，用于按照下式对所述历史多元数据序列进行数据偏移界定：

[0136]

[0137] 式中，C为所述历史多元数据序列中的偏离数量， 为在t时刻的时序数据， 为在t时刻运用插值拟合的时序数据， 表示时序数据与拟合数据之间的欧几里得
距离；ε为阈值，表示四分位数间距， 表示若 满足则等
于1，否则记为0；

[0138] 定义单元，用于定义所述历史多元数据序列的序列总长度为M、每次采样滑窗的大小为R、每次预测使用的历史数据量为T以及采样间隔d，从而得到一次滑窗中采样数量为
偏移程度为 然后基于采样数据和偏移程度对采样间隔d进行计算：

[0139]

[0140] 在一实施例中，如图8所示，所述第一特征提取单元603包括：

[0141] 第二特征提取单元801，用于通过Transformer网络对所述第一数据集提取相关性特征，得到第一特征向量，以及通过所述Transformer网络对所述第二数据集提取相关性特
征，得到第二特征向量；

[0142] 第三特征提取单元802，用于基于门控机制分别对所述第一特征向量和第二特征向量进行特征提取，得到第一目标特征和第二目标特征。

[0143] 在一实施例中，如图9所示，所述第二特征提取单元801包括：

[0144] 向量计算单元901，用于分别按照下式对所述第一数据集中的特征序列进行查询向量、键向量和值向量计算：

[0145] q:i＝xi·WQ

[0146] k:i＝xi·WK

[0147] v:i＝xi·WV

[0148] 式中，xi为所述第一数据集中的第i各个特征序列，q:i、k:i和v:i分别表示特征序列Q K V
xi的查询向量、键向量和值向量，W、W和W分别表示将特征序列xi映射为q:i、k:i和v:i的权重
矩阵；

[0149] 权重计算单元902，用于基于每一特征序列的查询向量、键向量和值向量对每一特征序列在所述第一数据集中的权重向量进行计算：

[0150]

[0151] 式中，α:i为特征序列xi的权重向量，K为由所有特征序列的键向量组成的矩阵，d为查询向量与键向量的维度；

[0152] 输出计算单元903，用于将每一特征序列的权重向量输入至单头自注意力网络中，并按照下式计算得到单头自注意力网络的输出向量c:i：

[0153] c:i＝V·α:i

[0154] 式中，V为由所述第一数据集中的的所有特征序列的值向量组成的矩阵；

[0155] 重复单元904，用于基于多头注意力结构，对上述步骤重复进行Q次，得到Q个输出向量，然后将Q个输出向量进行拼接，并对拼接结果进行线性变换，得到第一目标向量；

[0156] 第一残差连接单元905，用于按照下式对所述第一目标向量进行残差连接与归一化处理，得到第二目标向量：

[0157]

[0158] 式中，Z为第二目标向量X为所述第一数据集的输入序列，C为所述第一目标向量，μ′为所述第一目标向量进行残差连接后的均值，σ′为所述第一目标向量进行残差连接后的
标准差；

[0159] 前馈神经网络计算单元906，用于将所述第二目标向量输入至前馈神经网络中，按照下式获取经由所述前馈神经网络输出的第三目标向量：

[0160] Z′＝f(w2*f(w1*Z+b1)+b2)

[0161] 式中，Z为所述第二目标向量向量，Z′为所述第三目标向量w1,w2,b1,b2均为训练参数；

[0162] 第二残差连接单元907，用于对所述第三目标向量进行残差连接与归一化处理，得到所述第一特征向量。

[0163] 在一实施例中，所述第三特征提取单元802之前包括：

[0164] 第一融合及概率计算单元，用于将所述第一特征向量分别输入至双向长短时记忆循环神经网络与sigmoid函数中，按照下式计算获得第一融合特征 和第一概率向量

[0165]

[0166]

[0167] 式中，f为双向长短时记忆循环神经网络的函数集合，σ为sigmoid函数， 为t时刻的第一特征向量， 为t‑1时刻的第一特征向量，WZ′、bZ′是线性变换的两个训练参数；

[0168] 第二融合及概率计算单元，用于将所述第二特征向量分别输入至双向长短时记忆循环神经网络与sigmoid函数中，按照下式计算获得第二融合特征 和第二概率向量

[0169]

[0170]

[0171] 式中，f为双向长短时记忆循环神经网络的函数集合，σ为sigmoid函数， 为t时刻的第二特征向量， 为t‑1时刻的第二特征向量，WZ″、bZ″是线性变换的两个训练参数。

[0172] 在一实施例中，所述第三特征提取单元802包括：

[0173] 第一特征捕捉单元，用于利用门控机制对所述第一特征向量按照下式进行特征捕捉，得到所述第一目标特征：

[0174]

[0175] 式中，Z″t(1)为所述第一目标特征， 为所述第一特征向量， 为第一概率向量。

[0176] 第一特征捕捉单元，用于利用门控机制对所述第二特征向量按照下式进行特征捕捉，得到所述第二目标特征：

[0177]

[0178] 式中，Z″t(2)为所述第二目标特征， 为所述第二特征向量， 为第二概率向量。

[0179] 由于装置部分的实施例与方法部分的实施例相互对应，因此装置部分的实施例请参见方法部分的实施例的描述，这里暂不赘述。

[0180] 本发明实施例还提供了一种计算机可读存储介质，其上存有计算机程序，该计算机程序被执行时可以实现上述实施例所提供的步骤。该存储介质可以包括：U盘、移动硬盘、
只读存储器(Read‑Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁
碟或者光盘等各种可以存储程序代码的介质。

[0181] 本发明实施例还提供了一种计算机设备，可以包括存储器和处理器，存储器中存有计算机程序，处理器调用存储器中的计算机程序时，可以实现上述实施例所提供的步骤。
当然计算机设备还可以包括各种网络接口，电源等组件。

[0182] 说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而
言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明
即可。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还
可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围
内。

[0183] 还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作
之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意
在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那
些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者
设备所固有的要素。在没有更多限制的状况下，由语句“包括一个……”限定的要素，并不排
除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。