水质自动在线监测设备测量误差的分析和估计方法

摘要

本发明公开了一种水质自动在线监测设备测量误差的分析和评估方法，其基于数据对比统计，且分类进行有针对性的误差估计，能够提高评估结果的准确性。首先，采用稳健剔除异常数据的方法，剔除在线监测数据中的粗大误差；然后从剔除粗大误差后的在线监测数据提取中位数，判断该中位数是否在水质样本均值置信区间内；如果不在，则确定没有系统误差，结束本流程；否则，确定存在系统误差，将系统误差分为周期性系统误差、线性及多项式型系统误差和常量系统误差分别采用基于Burg法的谱分析和回归分析相结合的方法、回归分析方法、均值滤波方法和卡尔曼滤波相结合的方法进行估计。最后，将三类系统误差的估计结果相加，得到最终的系统误差估计结果。

权利要求

1.一种水质自动在线监测设备测量误差的分析和评估方法，其特征在于，通过分析水质自动在线监测设备产生误差的类型，将测量误差分为系统误差、偶然误差和粗大误差，其中系统误差进一步分为周期性系统误差、线性及多项式型系统误差以及常量系统误差三类；针对上述误差类型的评估，包括如下步骤：步骤一、采用稳健剔除异常数据的方法，剔除在线监测数据中的粗大误差；

步骤二、从剔除粗大误差后的在线监测数据提取中位数xe，判断该中位数xe是否在水质样本均值置信区间内；如果是，则确定没有系统误差，结束本流程；否则，确定存在系统误差，进入步骤三；

步骤三、将系统误差分为周期性系统误差、线性及多项式型系统误差和常量系统误差；

采用基于Burg法的谱分析和回归分析相结合的方法估计周期性系统误差；

采用回归分析方法，估计线性及多项式型的系统误差；

采用均值滤波方法，估计常量系统误差，再采用卡尔曼滤波方法对常量系统误差进行估计和预测，同时均值滤波加卡尔曼滤波还消减了偶然误差；

将三类系统误差的估计结果相加，得到最终的系统误差估计结果。

2.根据权利要求1所述的方法，其特征在于，步骤一中，采用稳健剔除异常数据的方法，剔除在线监测数据中的粗大误差的具体步骤如下：步骤1、计算在线监测数据均值置信区间的上限Mm和下限mm：

式中， 是在线监测数据的均值，σ是在线监测数据的标准差，n是在线监测数据的个数；

步骤2、提取在线监测数据的中位数me；如果满足mm≤me≤Mm，则判定在线监测数据服从对称beta分布，采用式I对参数g,h进行估计：上式I中 为beta分布的参数估计值，u为在线监测数据归一化后的结果， 为u的平均值，su为u的标准差；

如果满足meMm，则判定在线监测数据为不对称分布，采用式II对参数g,h分别进行估计：步骤3、根据估计好的beta分布，按在线监测数据的中位数me及四分位离差FD来确定粗差判别界限为[me-kLFD,me+kUFD]，当某个在线监测数据xj超出所述粗差判别界限时，将在线监测数据xj判别为异常数据，进行剔除；其中，kL、kU为与beta分布参数相关的系数。

3.根据权利要求1所述的方法，其特征在于，步骤二判断是否存在系统误差的方式具体为：步骤(1)、计算实验室对比数据置信区间的上限Mmd和下限mmd：式中，σd是实验室对比数据的标准差， 是实验室对比数据的均值，n是在线监测数据的个数；

步骤(2)、判断在线监测数据的中位数xe是否在实验室对比数据的置信区间内；如果在，则判定为没有系统误差，本流程结束；如果不在，判定为含有系统误差。

4.根据权利要求1所述的方法，其特征在于，所述基于Burg法的谱分析和回归分析相结合的方法分析周期性系统误差的方式为：采用Burg谱分析的方法判断在线监测数据是否含有周期性系统误差；若含有周期性系统误差，则将在线监测数据按周期分割，针对每一个周期的在线监测数据采用回归分析方法估计每个周期内的线性及多项式型系统误差。

5.根据权利要求1或4所述的方法，其特征在于，所述采用回归分析方法估计线性及多项式型系统误差的具体步骤如下：依次将误差拟合成一阶、二阶、三阶多项式，得到回归系数，F检验方法进行显著性分析，选择拟合误差最接近实际的作为最终结果。

6.根据权利要求1所述的方法，其特征在于，采用均值滤波方法估计常量系统误差时，滤波周期采用10～20个数据，重叠周期占滤波周期的1/3。

说明书

水质自动在线监测设备测量误差的分析和估计方法

技术领域

[0001] 本发明涉及监测数据校准领域，具体涉及一种水质自动在线监测数据误差分析和估计方法，可用于各类型水质自动监测仪器中。

背景技术

[0002] 在线监测设备的设计结构复杂，必须由专业人员进行维护和校准，同时，监测结果的准确性受到多方面因素的影响，试剂浓度不准确、管路污染、测量温度变化等都会造成结果产生误差。目前，监测设备应用广泛，但是监测结果的准确性受到多方质疑。许多专家学者对误差产生原因、仪器维护、监测质量控制方法等进行了探讨，试图通过规范仪器的使用，加强仪器维护等方法，提高测量结果的准确性。同时，也有学者采用一些数学方法(如滤波、最小二乘法等)，对其他类型的监测数据(如电容、测井等数据)进行分析和校正。由于水质在线监测仪器设计复杂，还没有人尝试过采用数学分析的方法对在线监测仪器的误差进行分析。

发明内容

[0003] 有鉴于此，本发明提供了一种用于水质在线监测的误差估计方法，该方法采用数据对比统计的方式，且将误差分类后，分别估计误差值，然后再整合，能够提高测量结果的准确性。

[0004] 为了解决上述技术问题，本发明是这样实现的：

[0005] 一种水质自动在线监测设备测量误差的分析和评估方法，其通过分析水质自动在线监测设备产生误差的类型，将测量误差分为系统误差、偶然误差和粗大误差，其中系统误差进一步分为周期性系统误差、线性及多项式型系统误差以及常量系统误差三类；针对上述误差类型的评估，包括如下步骤：

[0006] 步骤一、采用稳健剔除异常数据的方法，剔除在线监测数据中的粗大误差；

[0007] 步骤二、从剔除粗大误差后的在线监测数据提取中位数xe，判断该中位数xe是否在水质样本均值置信区间内；如果是，则确定没有系统误差，结束本流程；否则，确定存在系统误差，进入步骤三；

[0008] 步骤三、将系统误差分为周期性系统误差、线性及多项式型系统误差和常量系统误差；

[0009] 采用基于Burg法的谱分析和回归分析相结合的方法估计周期性系统误差；

[0010] 采用回归分析方法，估计线性及多项式型的系统误差；

[0011] 采用均值滤波方法，估计常量系统误差，再采用卡尔曼滤波方法对常量系统误差进行估计和预测；同时，均值滤波和卡尔曼滤波还将偶然误差消减；

[0012] 将三类系统误差的估计结果相加，得到最终的系统误差估计结果。

[0013] 优选地，步骤一中，采用稳健剔除异常数据的方法，剔除在线监测数据中的粗大误差的具体步骤如下：

[0014] 步骤1、计算在线监测数据均值置信区间的上限Mm和下限mm：

[0015]

[0016] 式中，是在线监测数据的均值，σ是在线监测数据的标准差，n是在线监测数据的个数；

[0017] 步骤2、提取在线监测数据的中位数me；如果满足mm≤me≤Mm，则判定在线监测数据服从对称beta分布，采用式I对参数g,h进行估计：

[0018]

[0019] 上式I中 为beta分布的参数估计值，u为在线监测数据归一化后的结果，为u的平均值，su为u的标准差；

[0020] 如果满足meMm，则判定在线监测数据为不对称分布，采用式II对参数g,h分别进行估计：

[0021]

[0022] 步骤3、根据估计好的beta分布，按在线监测数据的中位数me及四分位离差FD来确定粗差判别界限为[me-kLFD,me+kUFD]，当某个在线监测数据xj超出所述粗差判别界限时，将在线监测数据xj判别为异常数据，进行剔除；其中，kL、kU为与beta分布参数相关的系数。

[0023] 优选地，步骤二判断是否存在系统误差的方式具体为：

[0024] 步骤(1)、计算实验室对比数据置信区间的上限Mmd和下限mmd：

[0025]

[0026]

[0027] 式中，σd是实验室对比数据的标准差， 是实验室对比数据的均值，n是在线监测数据的个数；

[0028] 步骤(2)、判断在线监测数据的中位数xe是否在实验室对比数据的置信区间内；如果在，则判定为没有系统误差，本流程结束；如果不在，判定为含有系统误差。

[0029] 优选地，所述基于Burg法的谱分析和回归分析相结合的方法分析周期性系统误差的方式为：采用Burg谱分析的方法判断在线监测数据是否含有周期性系统误差；若含有周期性系统误差，则将在线监测数据按周期分割，针对每一个周期的在线监测数据采用回归分析方法估计每个周期内的线性及多项式型系统误差。

[0030] 优选地，所述采用回归分析方法估计线性及多项式型系统误差的具体步骤为：依次将误差拟合成一阶、二阶、三阶多项式，得到回归系数，F检验方法进行显著性分析，选择拟合误差最接近实际的作为最终结果

[0031] 优选地，采用均值滤波方法估计常量系统误差时，滤波周期采用10～20个数据，重叠周期占滤波周期的1/3。

[0032] 有益效果：

[0033] (1)本发明将测量误差分为系统误差、偶然误差、粗大误差三类，并且按照误差产生原因，将系统误差分为周期性系统误差、线性及多项式型系统误差，以及常量系统误差这三类，再分别采用适合的方法进行误差消减和误差估计，从而提高了最终误差估计结果的准确性。

[0034] (2)本发明基于数据对比统计，即将在线监测设备的测量结果与实验室人工测量的结果进行对比，分析测量误差，能够提高测量结果的准确性。

[0035] (3)本发明对于常量误差采用均值滤波方法+卡尔曼滤波方法进行估计，由于常量的系统误差在长期(如一年)的监测中，误差并不恒定，而是随时间变化的，在每次仪器标定、更换试剂以及清洗之后，系统的常量系统误差都会发生改变。因此，采用均值滤波方式估计，用Kalman滤波进行再次滤波，可以提高估计准确性，同时对常量系统误差进行预测。之所以采用Kalman滤波，是因为Kalman滤波使用约束少，也适用于非对称分布的数据。

[0036] (4)本发明提出的基于数据对比统计的在线监测数据误差估计方法，已经在多个污水处理厂实施应用。实践证明，该方法的估计结果能有效提高在线监测数据的准确性；同时，将误差分析结果推理到误差产生原因，可以为在线监测设备的日常维护和校准提供依据和数据支持。

附图说明

[0037] 图1为本发明流程图。

具体实施方式

[0038] 由于水质在线监测仪器结构设计复杂，目前还没有人尝试采用数学分析的方法对在线监测仪器的误差进行分析。本发明在详细分析仪器产生误差原因的基础上，提出了基于“数据对比统计”的误差分析和估计方法。该方法的核心思想是将误差分类后，分别分析估计。实践证实，误差估计结果准确可靠，该方法弥补了在线监测设备误差估计的空白。

[0039] 首先，分析在线监测设备产生误差的类型，本发明将测量误差分为系统误差、偶然误差和粗大误差三类，其中粗大误差可以采用稳健剔除异常数据的方法去除，对于系统误差由于其出现原因复杂，因此需要具体分析。偶然误差可以在估计系统误差的过程中被消减。

[0040] 对于系统误差，在线监测设备产生系统误差的原因主要有以下几个方面：

[0041] (1)在线监测设备在生产制造过程中，为了降低维护难度、提高监测效率，对测量方法进行了改进，与实验室标准测量方法不匹配，造成测量结果存在误差，属于系统误差；其次，在线监测仪器含有水样采集和传输装置，采样方法与标准方法不匹配，也会造成系统误差；最后，在线监测设备设有过滤装置，造成的测量结果偏低。以上三种误差都可近似按常量系统误差处理。

[0042] (2)在线监测设备的取样管路积水、不清洁会造成污染累积；试剂在长期使用过程中，会发生变质挥发等。由此造成的误差随时间线性变化，按线性及多项式型系统误差处理。

[0043] (3)在线监测仪器在实际使用过程中，会定时清洁管路、更换试剂、标定和校准；其次，测量误差会随季节和温度变化。该类系统误差按照周期性系统误差处理。

[0044] 按照上述误差产生原因，可以将系统误差分为周期性系统误差、线性及多项式型系统误差，以及常量系统误差这三类，再分别采用适合的方法进行误差估计，从而提高了最终误差估计结果的准确性。

[0045] 基于上述分析，本发明基于在线监测设备产生误差原因的分析结果，从误差产生原因入手，将测量误差分为系统误差、偶然误差和粗大误差。然后，采用稳健剔除异常数据的方法剔除粗大误差，对剩余数据进行系统误差校验，判断是否含有系统误差。之后，按照误差产生原因，将系统误差分为周期性系统误差、线性及多项式型系统误差，以及常量系统误差这三类，再分别采用谱分析、回归分析、均值滤波和Kalman滤波的方法，对系统误差进行分类估计。而且，偶然误差可以在均值滤波和Kalman滤波处理后被消减。

[0046] 下面结合附图1并举实施例，对本发明进行详细描述。

[0047] 1)在线监测数据有效性判断

[0048] 湖体、河道等水质相对比较稳定，监测数据发生突变的可能性较小，即使是发生污染事件，出水监测数据的变化也是缓慢的。由此，可以采用稳健剔除异常数据的方法，判断在线监测数据的有效性。

[0049] 稳健剔除异常数据的方法具体为：采用Beta分布概率模型来统一表示数据的统计规律。设在线监测数据为x，x组成的集合为X，则：

[0050] X～βx(g,h),x∈[a,b]

[0051] 式中，g,h是Beta分布的两个参数，a,b分别代表在线监测数据的最小值和最大值。

[0052] 概率分布密度为：

[0053] βx(g,h)＝[(x-a)/(b-a)]g-1[1-(x-a)/(b-a)]h-1/[(b-a)Β(g,h)][0054] 归一化后可得：

[0055] β(g,h)＝ug-1(1-u)h-1/Β(g,h),0≤u≤1,u＝(x-a)/(b-a)

[0056] 式中，Β(g,h)＝Γ(g+h)/[Γ(g)Γ(h)]为β函数，Γ(·)为Γ函数，u为归一化后的0到1区间的数值；参数g＞0,h＞0。当g＝h时，β分布形态为对称型，当g≠h时，β分布形态为非对称型。

[0057] 首先，用判断X内的中位数是否落在均值上下限的方法，判断数据是否服从对称分布，判断方法如下：

[0058] 计算在线监测数据均值的置信区间：

[0059]

[0060]

[0061] 式中，Mm、mm分别是在线监测数据均值的置信区间的上限和下限，x是在线监测数据均值，σ是标准差，n是X中的数据个数。提取在线监测数据中位数me，若：

[0062] mm≤me≤Mm

[0063] 则判定数据服从对称Beta分布，按对称分布处理，对参数g,h进行估计，可得：

[0064]

[0065] 式中，u为样本归一化后的结果，为u的平均值，su为u的标准差。

[0066] 若：

[0067] meMm

[0068] 则判断数据为不对称分布，对参数g,h进行估计，可得：

[0069]

[0070]

[0071] 根据拟合好的beta分布，按在线监测数据的中位数me及四分位离差FD来确定粗差判别界限[me-kLFD,me+kUFD]。当数据xj超出该粗差判别界限时，就可初步判别为异常数据，即

[0072]

[0073] FD＝FU-FL

[0074] 式中，FU和FL分别为在线监测数据的上四分位数和下四分位数；me为在线监测数据的中位数；FD是四分位离差。其中系数kL、kU与概率分布有关。为增强剔除异常值的可靠性，在此取kL＝kU＝2。

[0075] 通过计算中位数，以及上、下四分位数，代入上式中，得到数据粗差判别界限，从而剔除异常数据。

[0076] 2)在线监测数据系统误差校验

[0077] 系统误差是指在多次观测时，误差始终不变或服从一定函数规律的误差。系统误差决定了观测结果的正确与否。系统误差校验的作用是判断数据是否含有系统误差。

[0078] 由于在线监测数据不是简单的正态分布，因此本发明采用求均值的方法判别数据中是否含有系统误差。

[0079] 设实验室比对数据和在线监测数据分别为：d1,d2,…,dn和x1,x2,…,xn。其中，实验室对比数据是将水质样本采回实验室进行实验室参数测量获得的结果；由于水质变化速度是十分缓慢的，因此采用实验室数据作为对比数据时可行的。

[0080] 采用实验室对比数据均值置信区间作为样本均值置信区间：

[0081]

[0082]

[0083] 式中，Mmd为实验室对比数据均值置信区间的上限，mmd为实验室对比数据均值置信区间的下限，σd是实验室对比数据的标准差， 是实验室对比数据的均值。判断在线监测数据的中位数xe是否在实验室对比数据的均值置信区间内，如果在，则判定为没有系统误差，误差估计到此结束；如果不在，则判定为含有系统误差，还需对系统误差进一步分类分析。

[0084] 3)基于Burg法谱分析的周期性系统误差分析

[0085] 对于含有系统误差的数据，则对系统误差进行估计。本发明采用的方法是将系统误差分为周期性系统误差、线性及多项式型系统误差和常量系统误差，并对这三类系统误差分别进行估计。

[0086] 对于周期性的系统误差，采用谱分析的方法来判别。本发明采用Burg法来分析。Burg算法是在Levinson约束条件下，利用线性预测误差格型滤波器的前向预测误差功率和后向预测误差功率，使滤波误差平均功率极小化，比传统方法具有更好的频率分辨率和估计性能。

[0087] 首先对误差数据建立自回归模型——AR模型，下式为AR(n)模型：

[0088]

[0089] 式中，xΔ(n)表示第n个误差数据，是采用实验室比对数据d1,d2,…,dn与在线监测数据x1,x2,…,xn分别做差得到的xΔ1,xΔ2,…,xΔn，p为自回归阶次，ak为自回归系数，随机项μ(n)是均值为0的白噪声信号。

[0090] 采用AR模型进行自回归分析，求得模型参数，然后对在线监测数据进行谱估计，计算方法如下：

[0091]

[0092] 其中，ω是角频率，σμ是白噪声信号的方差。利用谱估计结果画出误差频谱图，观察频谱曲线是否在某个频率段有明显的突出，即存在尖峰。如果没有，则证明在线监测数据不含周期性的系统误差。如果有，则要对周期性系统误差进行估计。估计方法为：将在线监测数据按周期分割，针对每一个周期的在线监测数据采用回归分析方法估计该周期的系统误差。回归分析方法同步骤4)所述。

[0093] 4)基于回归分析的线性及多项式变化的系统误差分析

[0094] 对于线性变化及多项式变化的系统误差，本发明采用回归分析方法估计。该方法是依次将误差拟合成一阶、二阶、三阶多项式，得到回归系数，再用F检验方法进行显著性分析。

[0095] 一元m次多项式回归方程为：

[0096]

[0097] 上式中，xΔ为误差数据，取xΔ1,xΔ2,…,xΔn，n是误差数据长度。 是回归后误差数据的估计值。在多项式回归分析中，检验回归系数bi是否显著，实质上就是判断自变量xΔ的i次方项对应变量y的影响是否显著。F检验的步骤如下：

[0098] 当H0成立时，

[0099] 其中， 为回归平方和， 为残差平方和， 是第i个值， 是y的平均值，yi是第i个y值。因此，当F＞F1-α(1,n-2)(这里比较值是查F表)时，拒绝H0，否则接受H0。H0＝1时，数据含有该类型误差，H0＝0时，数据不含有该类型系统误差。其中，就是估计得到的误差值。

[0100] 5)基于均值滤波和卡尔曼滤波的常量系统误差分析

[0101] 实际测量中，常量的系统误差在长时间的监测中并不恒定，是随时间变化的。在每次仪器标定、更换试剂以及清洗之后，系统的常量系统误差都会发生改变，因此，本发明采用均值滤波的方法来估计常量系统误差，求平均值还可以减小偶然误差对结果的影响。

[0102] 根据测量数据的波动情况选择合适的滤波周期，使得滤波结果的曲线平滑为宜，一般为10-20个数据，重叠周期占滤波周期的1/3。分别对在线监测数据和实验室对比数据求均值滤波结果，将两组滤波结果相减，得到误差值的均值滤波结果。

[0103] 用均值滤波方法求得常量系统误差之后，用卡尔曼滤波的方法来进行常量系统误差的预测和估计。卡尔曼滤波是一个最优化自回归数据处理算法。对于大部分问题，该方法最优且效率最高。

[0104] 卡尔曼滤波的状态方程为：

[0105] X(k+1)＝φ(k+1,k)X(k)+U(k)

[0106] Y(k+1)＝H(k+1)X(k+1)+V(k+1)

[0107] 其中，X(k)为状态变量， 其中xΔk是指第k个误差数据，ΔxΔk＝xΔ(k+1)-xΔk，U(k)为过程噪声，V(k+1)为测量噪声，Y(k+1)为输出数据， 状态转移矩阵为 在此，取t＝1；输出矩阵为H(k+1)＝[1 0]，在不考虑随机噪声的影响下U(k)＝0，V(k+1)＝0。

[0108] 设滤波初值为 其中，0.1906为初始系统误差值，-0.5560为系统误差序列的第二个值与第一个值的差。

[0109] 首先利用系统的过程模型，来预测系统的下一状态。假设当前系统迭代次数为k，则由系统模型，根据系统的上一状态而预测下一状态：

[0110] 一步预测：

[0111]T

[0112] P(k+1|k)＝φ(k+1,k)P(k|k)φ(k+1,k)

[0113] 式中，P(k|k)是X(k|k)对应的方差阵，P(k+1|k)是X(k+1|k)对应的方差阵，P(0|0)可以任意取值，一般不等于0。

[0114] 滤波增益：T T -1

[0115] K(k+1)＝P(k+1|k)H(k+1)[H(k+1)P(k+1|k)H(k+1)+R(k+1)]

[0116] 滤波计算：

[0117]

[0118] P(k+1|k+1)＝[I-K(k+1)H(k+1)]P(k+1|k)

[0119] 循环上述步骤，直到得出所有的预测值。预测结果即为在线监测设备的常量系统误差。卡尔曼滤波之后，测量结果的偶然误差被消减，得到的滤波结果即为常量系统误差，通过分析常量系统误差的变化规律，并对比在线监测设备的维修和维护记录，可以分析得出产生误差的原因，辅助设备的维护和校准。

[0120] 6)系统误差估计

[0121] 将周期性系统误差、线性及多项式型系统误差、常量系统误差的估计结果相加，就得到系统误差的最终估计结果。可以通过仪器维护校准等方式修正系统误差，也可以直接在监测数据中减去系统误差，得到修正结果。

[0122] 综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。