径流异常突变数据的处理方法及装置

摘要

本发明实施例涉及一种径流异常突变数据的处理方法及装置，包括：获取目标研究区域在预设历史时间段的径流观测数据，并将所述径流观测数据按时间排序得到第一径流观测数据序列；将所述第一径流观测数据序列进行一阶差分处理，得到第一一阶差分径流观测数据序列；基于预设的径流异常突变数据筛选条件，在所述第一一阶差分径流观测数据序列中确定径流异常突变数据；对所述径流异常突变数据进行修正处理，由此，通过设定突变点窗口阈值、一阶差分序列的差异倍数阈值来识别异常突变点，并利用线性插补法进行数据修正，实现对径流序列异常突变数据的高效精准识别与修正，提高径流异常突变数据的清洗质控效率。

权利要求

1.一种径流异常突变数据的处理方法，其特征在于，包括：获取目标研究区域在预设历史时间段的径流观测数据，并将所述径流观测数据按时间排序得到第一径流观测数据序列；

将所述第一径流观测数据序列进行一阶差分处理，得到第一一阶差分径流观测数据序列；

预先设置差异倍数阈值以及突变窗口阈值；

将所述第一一阶差分径流观测数据序列 的第三四分位数记为 ，若满足第一公式，所述第一公式为： ；

则将j记为突变点时间，将满足第一公式的突变点时间记录为集合HopSet；

将所有突变点分为向上的突变点以及向下的突变点，对于 ，若 ，，满足第二公式，所述第二公式为： ；

则在 条件下：

第三公式

第四公式

在 条件下：

第五公式

第六公式

则将 以及 计入尖顶型突变点的时间集合TopIndex，TopIndex集合中的时间对应的径流数据即为尖顶型突变数据；

将所述尖顶型突变数据标记为第一缺失数据；

采用线性插补方法对所述第一缺失数据进行修正，得到修正后的第二径流观测数据序列；

将所述第二径流观测数据序列进行一阶差分处理，得到第二一阶差分径流观测数据序列；

将所有第二一阶差分径流观测数据序列中 的第三四分位数记为 ，若满足第七公式，所述第七公式为： ；

则将所有满足第七公式的j记为平顶型突变点时间集合FlatSet；

记 ，共t个时间，对于 ，令k=1：步骤1：考虑集合 ， ，若满足第八公式，所述第八公式为：；

则记满足条件的所有r集合为 ；

步骤2：计算 ；

步骤3：将 以及 放入平顶型突变点集合FlatIndex；

步骤4：令k = k + M+1，其中M为 在 的秩次，重复步骤1‑3，直到 停止，FlatIndex集合中时间点对应的径流数据即为平顶型突变数据，FlatIndex集合中元素个数为偶数；

记FlatIndex中元素个数为2N，记 ，则对 ，标记为第二缺失数据；

对 的第二缺失数据进行线性插补，得到修正后的第三径流观测数据序列。

2.一种径流异常突变数据的处理装置，其特征在于，包括：获取模块，用于获取目标研究区域在预设历史时间段的径流观测数据，并将所述径流观测数据按时间排序得到第一径流观测数据序列；

处理模块，用于将所述第一径流观测数据序列进行一阶差分处理，得到第一一阶差分径流观测数据序列；

确定模块，用于预先设置差异倍数阈值以及突变窗口阈值；将所述第一一阶差分径流观测数据序列 的第三四分位数记为 ，若满足第一公式，所述第一公式为：；则将j记为突变点时间，将满足第一公式的突变点时间记录为集合HopSet；将所有突变点分为向上的突变点以及向下的突变点，对于 ，若， ，满足第二公式，所述第二公式为： ；则在条件下： 第

三公式

第四公式

在 条件下：

第五公式

第六公式

则将 以及 计入尖顶型突变点的时间集合TopIndex，TopIndex集合中的时间对应的径流数据即为尖顶型突变数据；将所述尖顶型突变数据标记为第一缺失数据；将所述第二径流观测数据序列进行一阶差分处理，得到第二一阶差分径流观测数据序列；将所有第二一阶差分径流观测数据序列中 的第三四分位数记为 ，若满足第七公式，所述第七公式为： ；则将所有满足第七公式的j记为平顶型突变点时间集合FlatSet；记 ，共t个时间，对于，令k=1：步骤1：考虑集合 ， ，若满足第八公式，所述第八公式为： ；则记满足条件的所有r集合为 ；步骤2 ：计算；步骤3：将 以及 放入平顶型突变点集合FlatIndex；

步骤4：令k = k + M+1，其中M为 在 的秩次，重复步骤1‑3，直到 停止，FlatIndex集合中时间点对应的径流数据即为平顶型突变数据，FlatIndex集合中元素个数为偶数；

修正模块，用于采用线性插补方法对所述第一缺失数据进行修正，得到修正后的第二径流观测数据序列；记FlatIndex中元素个数为2N，记 ，则对 ，标记 为第二缺失数据；对 的第二缺失数据进行线性插补，得到修正后的第三径流观测数据序列。

3.一种计算机设备，其特征在于，包括：处理器和存储器，所述处理器用于执行所述存储器中存储的径流异常突变数据的处理程序，以实现权利要求1所述的径流异常突变数据的处理方法。

4.一种存储介质，其特征在于，所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现权利要求1所述的径流异常突变数据的处理方法。

说明书

径流异常突变数据的处理方法及装置

技术领域

[0001] 本发明实施例涉及水文预报领域，尤其涉及一种径流异常突变数据的处理方法及装置。

背景技术

[0002] 径流是指降雨及冰雪融水在重力作用下沿地表或地下流动的水流。径流数据的准确性关乎防汛抗旱以及水文预报的准确性，对水文模型参数的率定、场次洪水的挑选影响较大。因此，径流数据的质量不容忽视。随着大量历史径流数据的积累，对异常突变数据的清洗质控是当前面临的一个难题。

[0003] 目前，对径流数据资料中的异常突变数据识别依赖于人工挑选，当径流序列数据量大时效率和精准度较低。

发明内容

[0004] 鉴于此，为解决上述技术问题或部分技术问题，本发明实施例提供一种径流异常突变数据的处理方法及装置。

[0005] 第一方面，本发明实施例提供一种径流异常突变数据的处理方法，包括：

[0006] 获取目标研究区域在预设历史时间段的径流观测数据，并将所述径流观测数据按时间排序得到第一径流观测数据序列；

[0007] 将所述第一径流观测数据序列进行一阶差分处理，得到第一一阶差分径流观测数据序列；

[0008] 基于预设的径流异常突变数据筛选条件，在所述第一一阶差分径流观测数据序列中确定径流异常突变数据；

[0009] 对所述径流异常突变数据进行修正处理。

[0010] 在一个可能的实施方式中，所述方法还包括：

[0011] 预先设置差异倍数阈值以及突变窗口阈值；

[0012] 基于所述差异倍数阈值以及突变窗口阈值，在所述第一一阶差分径流观测数据序列中确定尖顶型突变数据。

[0013] 在一个可能的实施方式中，所述方法还包括：

[0014] 基于所述差异倍数阈值以及突变窗口阈值，在所述第一一阶差分径流观测数据序列中确定满足预设条件的突变点；

[0015] 确定所述突变点的突变类型，基于所述突变类型对应的算法进行计算，得到尖顶型突变数据。

[0016] 在一个可能的实施方式中，所述方法还包括：

[0017] 将所述尖顶型突变数据标记为第一缺失数据；

[0018] 采用线性插补方法对所述第一缺失数据进行修正，得到修正后的第二径流观测数据序列。

[0019] 在一个可能的实施方式中，所述方法还包括：

[0020] 将所述第二径流观测数据序列进行一阶差分处理，得到第二一阶差分径流观测数据序列；

[0021] 基于差异倍数阈值以及突变窗口阈值，在所述第二一阶差分径流观测数据序列中确定平顶型突变数据。

[0022] 在一个可能的实施方式中，所述方法还包括：

[0023] 将所述平顶型突变数据标记为第二缺失数据；

[0024] 采用线性插补方法对所述第二缺失数据进行修正，得到修正后的第三径流观测数据序列。

[0025] 第二方面，本发明实施例提供一种径流异常突变数据的处理装置，包括：获取模块，用于获取目标研究区域在预设历史时间段的径流观测数据，并将所述径流观测数据按时间排序得到第一径流观测数据序列；

[0026] 处理模块，用于将所述第一径流观测数据序列进行一阶差分处理，得到第一一阶差分径流观测数据序列；

[0027] 确定模块，用于基于预设的径流异常突变数据筛选条件，在所述第一一阶差分径流观测数据序列中确定径流异常突变数据；

[0028] 修正模块，用于对所述径流异常突变数据进行修正处理。

[0029] 在一个可能的实施方式中，所述确定模块，还用于预先设置差异倍数阈值以及突变窗口阈值；基于所述差异倍数阈值以及突变窗口阈值，在所述第一一阶差分径流观测数据序列中确定尖顶型突变数据。

[0030] 第三方面，本发明实施例提供一种计算机设备，包括：处理器和存储器，所述处理器用于执行所述存储器中存储的径流异常突变数据的处理程序，以实现上述第一方面中所述的径流异常突变数据的处理方法。

[0031] 第四方面，本发明实施例提供一种存储介质，包括：所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现上述第一方面中所述的径流异常突变数据的处理方法。

[0032] 本发明实施例提供的径流异常突变数据的处理方案，通过获取目标研究区域在预设历史时间段的径流观测数据，并将所述径流观测数据按时间排序得到第一径流观测数据序列；将所述第一径流观测数据序列进行一阶差分处理，得到第一一阶差分径流观测数据序列；基于预设的径流异常突变数据筛选条件，在所述第一一阶差分径流观测数据序列中确定径流异常突变数据；对所述径流异常突变数据进行修正处理，相比于现有技术中对径流数据资料中的异常突变数据识别依赖于人工挑选，当径流序列数据量大时效率和精准度较低的问题，由本方案，通过设定突变点窗口阈值、一阶差分序列的差异倍数阈值来识别异常突变点，并利用线性插补法进行数据修正，实现对径流序列异常突变数据的高效精准识别与修正，提高径流异常突变数据的清洗质控效率。

附图说明

[0033] 图1为本发明实施例提供的一种径流异常突变数据的处理方法的流程示意图；

[0034] 图2为本发明实施例提供的另一种径流异常突变数据的处理方法的流程示意图；

[0035] 图3为本发明实施例提供的一种原始径流数据示意图；

[0036] 图4为本发明实施例提供的一种第一次修正后的径流数据示意图；

[0037] 图5为本发明实施例提供的一种第二次修正后的径流数据示意图；

[0038] 图6为本发明实施例提供的一种径流异常突变数据的处理装置的结构示意图；

[0039] 图7为本发明实施例提供的一种计算机设备的结构示意图。

具体实施方式

[0040] 为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

[0041] 为便于对本发明实施例的理解，下面将结合附图以具体实施例做进一步的解释说明，实施例并不构成对本发明实施例的限定。

[0042] 图1为本发明实施例提供的一种径流异常突变数据的处理方法的流程示意图，如图1所示，该方法具体包括：

[0043] S11、获取目标研究区域在预设历史时间段的径流观测数据，并将所述径流观测数据按时间排序得到第一径流观测数据序列。

[0044] 本发明实施例中，获取目标研究区在预设历史时间段的径流观测数据，可以是连续历史时间段内的径流观测数据，可以按照时间顺序记录径流观测数据为： ，n为时刻总数，得到第一径流观测数据序列。

[0045] S12、将所述第一径流观测数据序列进行一阶差分处理，得到第一一阶差分径流观测数据序列。

[0046] 进一步的，计算第一径流观测数据序列的一阶差分，得到第一一阶差分径流观测数据序列，记为 。

[0047] S13、基于预设的径流异常突变数据筛选条件，在所述第一一阶差分径流观测数据序列中确定径流异常突变数据。

[0048] 本发明实施例中，可以预设径流异常突变数据的筛选条件，该筛选条件可以是设定突变点窗口阈值和一阶差分序列的差异倍数阈值，根据突变点窗口阈值和一阶差分序列的差异倍数阈值在第一一阶差分径流观测数据序列中确定径流异常突变数据，具体的筛选方法在图2对应的实施例中进行详细说明，在此先不详述。

[0049] S14、对所述径流异常突变数据进行修正处理。

[0050] 最后，对径流异常突变数据进行修正处理，可以是多次修正，修正次数根据实际情况确定，本发明不做具体限定，最终得到修正后的径流数据。

[0051] 本发明实施例提供的径流异常突变数据的处理方法，通过获取目标研究区域在预设历史时间段的径流观测数据，并将所述径流观测数据按时间排序得到第一径流观测数据序列；将所述第一径流观测数据序列进行一阶差分处理，得到第一一阶差分径流观测数据序列；基于预设的径流异常突变数据筛选条件，在所述第一一阶差分径流观测数据序列中确定径流异常突变数据；对所述径流异常突变数据进行修正处理，相比于现有技术中对径流数据资料中的异常突变数据识别依赖于人工挑选，当径流序列数据量大时效率和精准度较低的问题，由本方法，通过设定突变点窗口阈值、一阶差分序列的差异倍数阈值来识别异常突变点，并利用线性插补法进行数据修正，实现对径流序列异常突变数据的高效精准识别与修正，提高径流异常突变数据的清洗质控效率。

[0052] 图2为本发明实施例提供的另一种径流异常突变数据的处理方法的流程示意图，如图2所示，该方法具体包括：

[0053] S21、预先设置差异倍数阈值以及突变窗口阈值。

[0054] 本发明实施例中，可以预设径流异常突变数据的筛选条件，该筛选条件可以是设定突变点窗口阈值和一阶差分序列的差异倍数阈值，根据突变点窗口阈值和一阶差分序列的差异倍数阈值在第一一阶差分径流观测数据序列中确定径流异常突变数据。

[0055] S22、基于所述差异倍数阈值以及突变窗口阈值，在所述第一一阶差分径流观测数据序列中确定满足预设条件的突变点。

[0056] S23、确定所述突变点的突变类型，基于所述突变类型对应的算法进行计算，得到尖顶型突变数据。

[0057] 具体的，利用一阶差分序列的差异倍数阈值以及突变窗口阈值确定尖顶型突变数据。可以设置突变点窗口阈值为WinSize，一阶差分序列的差异倍数阈值为FoldNum，将所有第一一阶差分径流观测数据序列的第三四分位数（75%分位数）记为 ，若满足公式1：

[0058] 公式1

[0059] 则将j记为可能的突变点时间，将满足上述条件的所有可能突变点时间记录为集合HopSet。对于所有可能的突变点，分为两种突变类型：向上的突变点以及向下的突变点，对于 ，若 ， ，满足公式2：

[0060] 公式2

[0061] 则在 条件下：

[0062] 公式3

[0063] 公式4

[0064] 在 条件下：

[0065] 公式5

[0066] 公式6

[0067] 则将 以及 计入尖顶型突变点的时间集合TopIndex，该集合中的时间对应的径流数据即为尖顶型突变数据。

[0068] S24、将所述尖顶型突变数据标记为第一缺失数据。

[0069] S25、采用线性插补方法对所述第一缺失数据进行修正，得到修正后的第二径流观测数据序列。

[0070] 将原始径流序列 中的尖顶型突变数据标记为第一缺失数据，对第一缺失数据利用线性插补方法进行修正，获得第一径流观测数据序列一次修正后的第二径流观测数据序列 。

[0071] S26、将所述第二径流观测数据序列进行一阶差分处理，得到第二一阶差分径流观测数据序列。

[0072] 对第二径流观测数据序列再次进行一阶差分处理，将处理后的数据序列记为q，得到第二一阶差分径流观测数据序列。

[0073] S27、基于差异倍数阈值以及突变窗口阈值，在所述第二一阶差分径流观测数据序列中确定平顶型突变数据。

[0074] 利用第二一阶差分径流观测数据序列对应的差异倍数阈值以及突变窗口阈值寻找平顶型突变点。将所有第二一阶差分径流观测数据序列中 的第三四分位数记为，若满足公式7：

[0075] 公式7

[0076] 则将所有满足上述条件的j记为可能的平顶型突变点时间集合FlatSet。记，共t个时间。对于 ，令k=1：

[0077] 步骤1：考虑集合{ }， ，若满足公式8：

[0078] 公式8

[0079] 则记满足条件的所有r集合为 。

[0080] 步骤2：计算 ；

[0081] 步骤3：将 以及 放入平顶型突变点集合FlatIndex；

[0082] 步骤4：令k = k + M+1，其中M为 在 的秩次，重复上述步骤1‑3，直到 停止，FlatIndex集合中时间点对应的径流数据即为平顶型突变数据。

[0083] S28、将所述平顶型突变数据标记为第二缺失数据。

[0084] S29、采用线性插补方法对所述第二缺失数据进行修正，得到修正后的第三径流观测数据序列。

[0085] 将修正后径流序列中的平顶型突变数据标记为第二缺失数据，进行线性插补之后获得二次修正后的第三径流观测数据序列。

[0086] 具体的，考虑到FlatIndex元素个数为偶数，记FlatIndex中元素个数为2N，记，则对 ，标记 为第二缺失数据。对 的第二缺失数据进行线性插补，获得二次修正后的第三径流
观测数据序列。

[0087] 下面结合图3、图4、图5以具体实施例进行说明：

[0088] 本发明实施例以收集到的某水文站点的实际径流数据为例进行效果展示，具体实施步骤如下：

[0089] 步骤1：径流数据获取。获取某水文站的小时径流数据序列 ，n=25537；如图3所示的原始径流数据示意图；

[0090] 步骤2：计算径流序列的一阶差分。记径流序列的一阶差分为 ；

[0091] 步骤3：利用一阶差分序列的差异倍数阈值以及突变窗口阈值寻找尖顶型突变数据。设置突变点窗口阈值为WinSize=5，一阶差分序列的差异倍数阈值为FoldNum=150，获得尖顶型突变时间点的集合TopIndex={10167，10168，10169，10170，10171，10172，10173，10174，24866，24867，24868，24869，24870，24871，24872}；

[0092] 步骤4：将原始径流序列 中TopIndex中元素时间对应的数据标记为缺失数据，对缺失数据利用线性插补方法进行修正，获得一次修正后的第二径流序列；如图4所示的第一次修正后的径流数据示意图；

[0093] 步骤5：对于一次修正后的径流序列 ，求其一阶差分为q；

[0094] 步骤6：利用一次修正后数据的一阶差分序列的差异倍数阈值以及突变窗口阈值寻找平顶型突变点，获得最终的平顶型突变点时间集合FlatIndex={9574，9585，24874，24881}；

[0095] 步骤7：将修正后径流序列中的平顶型突变数据设置为缺失数据，进行线性插补之后获得最 终二次修 正后的径流 序列。标 记 以 及为缺失数据，对 的缺失数据进行线性插
补，获得二次修正后的径流序列，如图5所示的第二次修正后的径流数据示意图。

[0096] 本发明实施例提供的径流异常突变数据的处理方法，通过获取目标研究区域在预设历史时间段的径流观测数据，并将所述径流观测数据按时间排序得到第一径流观测数据序列；将所述第一径流观测数据序列进行一阶差分处理，得到第一一阶差分径流观测数据序列；基于预设的径流异常突变数据筛选条件，在所述第一一阶差分径流观测数据序列中确定径流异常突变数据；对所述径流异常突变数据进行修正处理，由本方法，通过设定突变点窗口阈值、一阶差分序列的差异倍数阈值来识别异常突变点，并利用线性插补法进行数据修正，实现对径流序列异常突变数据的高效精准识别与修正，提高径流异常突变数据的清洗质控效率。

[0097] 图6示出了本发明实施例的一种径流异常突变数据的处理装置的结构示意图，如图6所示，该装置包括：

[0098] 获取模块，用于获取目标研究区域在预设历史时间段的径流观测数据，并将所述径流观测数据按时间排序得到第一径流观测数据序列。详细说明参见上述方法实施例对应的相关描述，此处不再赘述。

[0099] 处理模块，用于将所述第一径流观测数据序列进行一阶差分处理，得到第一一阶差分径流观测数据序列。详细说明参见上述方法实施例对应的相关描述，此处不再赘述。

[0100] 确定模块，用于基于预设的径流异常突变数据筛选条件，在所述第一一阶差分径流观测数据序列中确定径流异常突变数据。详细说明参见上述方法实施例对应的相关描述，此处不再赘述。

[0101] 修正模块，用于对所述径流异常突变数据进行修正处理。详细说明参见上述方法实施例对应的相关描述，此处不再赘述。

[0102] 本发明实施例提供的径流异常突变数据的处理装置，用于执行上述实施例提供的径流异常突变数据的处理方法，其实现方式与原理相同，详细内容参见上述方法实施例的相关描述，不再赘述。

[0103] 图7示出了本发明实施例的一种计算机设备，如图7所示，该计算机设备可以包括处理器901和存储器902，其中处理器901和存储器902可以通过总线或者其他方式连接，图7中以通过总线连接为例。

[0104] 处理器901可以为中央处理器（Central Processing Unit，CPU）。处理器901还可以为其他通用处理器、数字信号处理器（Digital Signal Processor，DSP）、专用集成电路（Application Specific Integrated Circuit，ASIC）、现场可编程门阵列（Field‑Programmable Gate Array，FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。

[0105] 存储器902作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本发明实施例中所提供方法所对应的程序指令/模块。处理器901通过运行存储在存储器902中的非暂态软件程序、指令以及模块，从而执行处理器的各种功能应用以及数据处理，即实现上述方法实施例中的方法。

[0106] 存储器902可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储处理器901所创建的数据等。此外，存储器902可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器902可选包括相对于处理器901远程设置的存储器，这些远程存储器可以通过网络连接至处理器901。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

[0107] 一个或者多个模块存储在存储器902中，当被处理器901执行时，执行上述方法实施例中的方法。

[0108] 上述计算机设备具体细节可以对应参阅上述方法实施例中对应的相关描述和效果进行理解，此处不再赘述。

[0109] 本领域技术人员可以理解，实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，存储介质可为磁碟、光盘、只读存储记忆体（Read‑Only Memory，ROM）、随机存储记忆体（Random Access Memory，RAM）、快闪存储器（Flash Memory）、硬盘（Hard Disk Drive，缩写：HDD）或固态硬盘（Solid‑State Drive，SSD)等；存储介质还可以包括上述种类的存储器的组合。

[0110] 虽然结合附图描述了本发明的实施例，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下作出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。