一种电网传输线路气候环境预测方法、系统及介质

摘要

本申请涉及一种电网传输线路气候环境预测方法、系统及介质，方法包括获取历史气候环境数据构建输入样本；构建稀疏注意力机制的transformer预测模型，对输入样本进行预测得到原预测结果；将原预测结果与真实数据进行比对，得到误差序列并输入ARIMA模型进行误差预测得到误差修正序列；将原预测结果与误差修正序列相加得到最终预测结果。本申请有效提高整体预测的稳定性和精确性，有效降低了传统transformer模型中自注意力运算的运算量，加快了模型训练与预测的速度，降低了部署模型所需的硬件要求。

权利要求

1.一种电网传输线路气候环境预测方法，其特征在于，包括以下具体步骤：

获取历史气候环境数据构建输入样本；

构建稀疏注意力机制的transformer预测模型，对输入样本进行预测得到原预测结果；

将原预测结果与真实数据进行比对，得到误差序列并输入ARIMA模型进行误差预测，得到误差修正序列，该误差修正序列给出了transformer原预测结果与实际数据的可能偏差；

将原预测结果与误差修正序列相加，通过ARIMA模型的误差修正序列改善transformer模型线性特征欠缺的不足，得到精确性与稳定性更高的最终预测的未来环境数据序列；

所述获取历史气候环境数据构建输入样本具体为，历史气候环境数据包括传输线路周边的温度、湿度、风速信息的历史数值组成的时间序列，对历史数值进行归一化处理，将其保存为向量 作为模型输入；

所述ARIMA模型的建立步骤如下：

对历史数据时间序列进行绘图，观察是否平稳，若为非平稳序列则进行差分得到平稳时间序列为止；

对得到的平稳时间序列求自相关系数ACF和偏自相关系数PACF，计算自相关系数ACF的公式如下:其中N为序列长度，为序列滞后次数， 为序列均值， 为序列第 个点，偏自相关系数PACF使用最小二乘法来计算，根据ACF、PACF来确定适当的模型参数 ，其中 为预测模型中采用的时序数据本身的滞后数， 为得到平稳时间序列所需的差分次数， 为预测模型中采用的预测误差的滞后数；

所述稀疏注意力机制的transformer预测模型包括编码器、解码器两部分，编码器对输入数据进行特征提取；解码器利用编码器提取到的特征进行multi‑head稀疏自注意力运算，最终实现传输线路的气候环境预测，编码层的输入为 ，解码层的输入为 以及编码层的输出 ，编码器由若干相同的编码层组成，解码器由若干相同的解码层组成，除第一个编码层输入为 之外，所有编码层都以上一个编码层的输出为其输入，最后一个编码层的输出为编码器的输出 ，除第一个解码层输入为 和 之外，所有解码层都以上一个解码层的输出为输入，最后一个解码层输出为transformer预测模型对未来气候数据的预测序列。

2.根据权利要求1所述的一种电网传输线路气候环境预测方法，其特征在于，所述transformer预测模型的编码层包括一维卷积层、稀疏自注意力层和前馈网络层，所述编码层进行特征提取的操作具体为，将输入向量 经过一维卷积层之后并加上位置编码得到，分别用三个权重矩阵 ， 和 与 作矩阵乘法分别得到多通道的query矩阵，key矩阵 和value矩阵 ，为了减少模型的计算量和防止过拟合，通过稀疏自注意力对三个矩阵进行运算得到自注意力，将计算得到的自注意力经过线性层将其映射为原输入维度之后与 相加，之后再将此相加得到的结果通过前馈层得到编码器的输出 。

3.根据权利要求2所述的一种电网传输线路气候环境预测方法，其特征在于，所述稀疏自注意力运算的操作为：选取矩阵 中数值最大的 个元素将其他元素置为0得到稀疏化之后的矩阵 ，其中 为预先设置的适当大小的数，随后矩阵 ，，作为的输入进行自注意力运算，公式为其中 为softmax激活函数， 为矩阵 的维度， 为计算出的自注意力。

4.根据权利要求2所述的一种电网传输线路气候环境预测方法，其特征在于，所述transformer预测模型的解码层包括解码一维卷积层、解码稀疏自注意力层和解码前馈网络层、解码线性层，所述解码层进行预测的具体操作为，将第一个输入数据 经过解码一维卷积层和一层解码稀疏自注意力层之后，通过解码线性层映射为query矩阵 并进行稀疏化得到 ，再用到第二个输入数据 ，通过解码线性层分别映射为key矩阵 和value矩阵 ，然后计算注意力，公式为其中 为 的维度，将计算得出的注意力经解码线性层、解码前馈层之后得到transformer预测模型对未来环境数据的预测序列。

5.一种电网传输线路气候环境预测系统，其特征在于，用以实现权利要求1‑4任一所述的电网传输线路气候环境预测方法。

6.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有程序代码，所述程序代码被处理器执行时，实现如权利要求1‑4任一所述的电网传输线路气候环境预测方法的步骤。

说明书

一种电网传输线路气候环境预测方法、系统及介质

技术领域

[0001] 本申请涉及电力系统领域，具体涉及一种基于ARIMA修正Transformer的电网传输线路气候环境预测方法、系统及介质。

背景技术

[0002] 电力系统中，电网传输线路的气候环境信息对于电力网络的规划、调度和维护具有重要参考价值，提前预测线路所在气候环境信息可以辅助调度决策，助力智能电网的建设。因此电网传输线路的气候环境预测方法具有重要意义。

[0003] 现有的预测模型主要有传统的线性模型和新兴的循环神经网络模型。传统的线性模型对于环境数据中的非线性部分表现欠佳，且预测性能依赖于参数的选取。而基于循环神经网络的一系列模型难以捕捉历史数据之间的长期依赖关系，且需要的计算量较大。由于单个预测模型的局限性，混合模型的使用受到了广泛关注。结合不同模型进行预测被认为是提高预测结果的有效途径。

发明内容

[0004] 本申请实施例的目的在于提供一种电网传输线路气候环境预测方法、系统及介质，有效降低了传统transformer模型中自注意力运算的运算量，加快了模型训练与预测的速度，降低了部署模型所需的硬件要求。

[0005] 为实现上述目的，本申请提供如下技术方案：

[0006] 第一方面，本申请实施例提供一种电网传输线路气候环境预测方法，包括以下具体步骤：

[0007] 获取历史气候环境数据构建输入样本；

[0008] 构建稀疏注意力机制的transformer预测模型，对输入样本进行预测得到原预测结果；

[0009] 将原预测结果与真实数据进行比对，得到误差序列并输入ARIMA模型进行误差预测，得到误差修正序列，该误差修正序列给出了transformer原预测结果与实际数据的可能偏差；

[0010] 将原预测结果与误差修正序列相加，通过ARIMA模型的误差修正序列改善transformer模型线性特征欠缺的不足，得到精确性与稳定性更高的最终预测的未来环境数据序列。

[0011] 所述获取历史气候环境数据构建输入样本具体为，历史气候环境数据包括传输线路周边的温度、湿度、风速信息的历史数值组成的时间序列，对历史数值进行归一化处理，将其保存为向量 作为模型输入。

[0012] 所述稀疏注意力机制的transformer预测模型包括编码器、解码器两部分，编码器对输入数据进行特征提取；解码器利用编码器提取到的特征进行multi‑head稀疏自注意力运算，最终实现传输线路的气候环境预测，编码层的输入为 ，解码层的输入为 以及编码层的输出 ，编码器由若干相同的编码层组成，解码器由若干相同的解码层组成，除第一个编码层输入为 之外，所有编码层都以上一个编码层的输出为其输入，最后一个编码层的输出为编码器的输出 ，除第一个解码层输入为 和 之外，所有解码层都以上一个解码层的输出为输入，最后一个解码层输出为transformer预测模型对未来气候数据的预测序列。

[0013] 所述transformer预测模型的编码层包括一维卷积层、稀疏自注意力层和前馈网络层，所述编码层进行特征提取的操作具体为，将输入向量 经过一维卷积层之后并加上位置编码得到 ，分别用三个权重矩阵 ， 和 与 作矩阵乘法分别得到多通道的query矩阵 ，key矩阵 和value矩阵 ，为了减少模型的计算量和防止过拟合，通过稀疏自注意力对三个矩阵进行运算得到自注意力，将计算得到的自注意力经过线性层将其映射为原输入维度之后与 相加，之后再将此相加得到的结果通过前馈层得到编码器的输出 。

[0014] 所述稀疏自注意力运算的操作为：选取矩阵 中数值最大的 个元素将其他元素置为0得到稀疏化之后的矩阵 ，其中 为预先设置的适当大小的数，随后矩阵 ，，作为的输入进行自注意力运算，公式为

[0015]

[0016] 其中 为softmax激活函数， 为矩阵 的维度， 为计算出的自注意力。

[0017] 所述transformer预测模型的解码层包括解码一维卷积层、解码稀疏自注意力层和解码前馈网络层、解码线性层，所述解码层进行预测的具体操作为，将第一个输入数据经过解码一维卷积层和一层解码稀疏自注意力层之后，通过解码线性层映射为query矩阵并进行稀疏化得到 ，再用到第二个输入数据 ，通过解码线性层分别映射为key矩阵和value矩阵 ，然后计算注意力，公式为

[0018]

[0019] 其中 为 的维度，将计算得出的注意力经解码线性层、解码前馈层之后得到transformer预测模型对未来环境数据的预测序列。

[0020] 第二方面，本申请实施例提供一种电网传输线路气候环境预测系统，包括，[0021] 输入样本构建模块，用以获取历史气候环境数据并构建输入样本；

[0022] transformer预测模型构建模块，用以构建稀疏注意力机制的transformer预测模型，对输入样本进行预测得到原预测结果；

[0023] 误差修正序列获取模块，用以将原预测结果与真实数据进行比对，得到误差序列并输入ARIMA模型进行误差预测得到误差修正序列；

[0024] 预测结果获取模块，用以将原预测结果与误差修正序列相加得到最终预测结果。

[0025] 第三方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有程序代码，所述程序代码被处理器执行时，实现如上所述的电网传输线路气候环境预测方法的步骤。

[0026] 与现有技术相比，本发明的有益效果是：

[0027] （1）本申请通过基于transformer的预测模型，利用一维卷积神经网络和稀疏自注意力机制有效提取输入长时间序列的时域特征与长期依赖信息，解决了现有技术难以有效处理长时间序列数据的问题；

[0028] （2）本申请通过结合基于transformer和ARIMA的预测模型，通过结合transformer模型的非线性特征提取能力和ARIMA的线性特征提取能力，利用ARIMA对基于transformer的预测模型进行误差修正，有效提高整体预测的稳定性和精确性；

[0029] （3）本申请通过引入稀疏自注意力操作，有效降低了传统transformer模型中自注意力运算的运算量，加快了模型训练与预测的速度，降低了部署模型所需的硬件要求。

附图说明

[0030] 为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

[0031] 图1为本申请实施例的方法流程图；

[0032] 图2为本申请实施例的方法实施流程示意图；

[0033] 图3为本申请实施例的自适应动态卷积AdaConv模块原理图；

[0034] 图4为本申请实施例的系统框图；

[0035] 图5为本申请实施例的预测效果对比图。

具体实施方式

[0036] 下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

[0037] 术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

[0038] 参照图1，图1为本申请实施例提供的本申请实施例提供一种电网传输线路气候环境预测方法，包括以下具体步骤：

[0039] 获取历史气候环境数据构建输入样本；

[0040] 构建稀疏注意力机制的transformer预测模型，对输入样本进行预测得到原预测结果；

[0041] 将原预测结果与真实数据进行比对，得到误差序列并输入ARIMA模型进行误差预测，得到误差修正序列，该误差修正序列给出了transformer原预测结果与实际数据的可能偏差；

[0042] 将原预测结果与误差修正序列相加，通过ARIMA模型的误差修正序列改善transformer模型线性特征欠缺的不足，得到精确性与稳定性更高的最终预测的未来环境数据序列。

[0043] 所述获取历史气候环境数据构建输入样本具体为，历史气候环境数据包括传输线路周边的温度、湿度、风速信息的历史数值组成的时间序列，对历史数值进行归一化处理，将其保存为向量 作为模型输入。

[0044] 如图2和图3所示，所述稀疏注意力机制的transformer预测模型包括编码器、解码器两部分，编码器对输入数据进行特征提取；解码器利用编码器提取到的特征进行multi‑head稀疏自注意力运算，最终实现传输线路的气候环境预测，编码层的输入为 ，解码层的输入为 以及编码层的输出 ，编码器由若干相同的编码层组成，解码器由若干相同的解码层组成，除第一个编码层输入为 之外，所有编码层都以上一个编码层的输出为其输入，最后一个编码层的输出为编码器的输出 ，除第一个解码层输入为 和 之外，所有解码层都以上一个解码层的输出为输入，最后一个解码层输出为transformer预测模型对未来气候数据的预测序列。

[0045] 所述transformer预测模型的编码层包括一维卷积层、稀疏自注意力层和前馈网络层，所述编码层进行特征提取的操作具体为，将输入向量 经过一维卷积层之后并加上位置编码得到 ，分别用三个权重矩阵 ， 和 与 作矩阵乘法分别得到多通道的query矩阵 ，key矩阵 和value矩阵 ，为了减少模型的计算量和防止过拟合，通过稀疏自注意力对三个矩阵进行运算得到自注意力，将计算得到的自注意力经过线性层将其映射为原输入维度之后与 相加，之后再将此相加得到的结果通过前馈层得到编码器的输出 。

[0046] 所述稀疏自注意力运算的操作为：选取矩阵 中数值最大的 个元素将其他元素置为0得到稀疏化之后的矩阵 ，其中 为预先设置的适当大小的数，随后矩阵 ，，作为的输入进行自注意力运算，公式为

[0047]

[0048] 其中 为softmax激活函数， 为矩阵 的维度， 为计算出的自注意力。

[0049] 所述transformer预测模型的解码层包括解码一维卷积层、解码稀疏自注意力层和解码前馈网络层、解码线性层，所述解码层进行预测的具体操作为，将第一个输入数据经过解码一维卷积层和一层解码稀疏自注意力层之后，通过解码线性层映射为query矩阵并进行稀疏化得到 ，再用到第二个输入数据 ，通过解码线性层分别映射为key矩阵和value矩阵 ，然后计算注意力，公式为

[0050]

[0051] 其中 为 的维度，将计算得出的注意力经解码线性层、解码前馈层之后得到transformer预测模型对未来环境数据的预测序列。

[0052] 所述ARIMA模型的建立步骤如下：

[0053] 对历史数据时间序列进行绘图，观察是否平稳，若为非平稳序列则进行差分得到平稳时间序列为止；

[0054] 对得到的平稳时间序列求自相关系数ACF和偏自相关系数PACF，计算自相关系数ACF的公式如下:

[0055]

[0056] 其中N为序列长度，为序列滞后次数， 为序列均值， 为序列第 个点。偏自相关系数PACF通常使用最小二乘法来计算。

[0057] 根据ACF、PACF来确定适当的模型参数 。其中 为预测模型中采用的时序数据本身的滞后数， 为得到平稳时间序列所需的差分次数，为预测模型中采用的预测误差的滞后数。

[0058] 如图4所示，本申请实施例提供一种电网传输线路气候环境预测系统，包括，[0059] 输入样本构建模块1，用以获取历史气候环境数据并构建输入样本；

[0060] transformer预测模型构建模块2，用以构建稀疏注意力机制的transformer预测模型，对输入样本进行预测得到原预测结果；

[0061] 误差修正序列获取模块3，用以将原预测结果与真实数据进行比对，得到误差序列并输入ARIMA模型进行误差预测得到误差修正序列；

[0062] 预测结果获取模块4，用以将原预测结果与误差修正序列相加得到最终预测结果。

[0063] 如图5所示，应用本申请的方法，针对电力传输线路的气温进行预测，根据实测温度和预测温度的对比分析可以知道，本申请的电网传输线路气候环境预测方法，预测的温度与实测温度相差较小，预测精确度高。

[0064] 本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有程序代码，所述程序代码被处理器执行时，实现如上所述的电网传输线路气候环境预测方法的步骤。

[0065] 本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD‑ROM、光学存储器等）上实施的计算机程序产品的形式。

[0066] 本申请是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。

[0067] 这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。

[0068] 这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

[0069] 在一个典型的配置中，计算设备包括一个或多个处理器 (CPU)、输入/输出接口、网络接口和内存。

[0070] 存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。

[0071] 计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存 (PRAM)、静态随机存取存储器 (SRAM)、动态随机存取存储器 (DRAM)、其他类型的随机存取存储器 (RAM)、只读存储器 (ROM)、电可擦除可编程只读存储器 (EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器 (CD‑ROM)、数字多功能光盘 (DVD) 或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体 (transitory media)，如调制的数据信号和载波。

[0072] 还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。

[0073] 以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。