一种基于深度学习的大坝安全综合评判方法转让专利

申请号 : CN201710598587.4

文献号 : CN107480341B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 毛莺池齐海陈豪李志涛王龙宝

申请人 : 河海大学

摘要 :

本发明公开一种基于深度学习的大坝安全综合评判方法,采用多层次大坝安全监测系统进行安全综合评判。包括以下步骤:1)大坝安全监测测点分级,根据大坝工程特性,将监测系统抽象成树状结构;2)监测测点数据预处理,对测点数据填补缺失值、剔除明显异常值;3)测点阈值计算和分类,对测点选取模型进行计算,确定测点阈值并对测点分类;4)构建卷积网络进行训练和评判,由专业监测人员巡检得到大坝以及监测系统各级的评判结果,作为训练集和测试集,然后基于训练集和测试集训练卷积神经网络,最后对大坝进行安全综合评判。

权利要求 :

1.一种基于深度学习的大坝安全综合评判方法,用于大坝监测系统的安全综合评判,其特征在于,包括四个方面:大坝安全监测测点分级,监测测点数据预处理,测点阈值计算和分类,构建卷积网络训练和评判;

1)大坝安全监测测点分级,根据大坝工程结构对监测系统进行抽象,然后对监测测点编号,最后从自动化监测系统中采集测点数据并存储;

2)监测测点数据预处理,填补缺失值和剔除明显异常值;

3)测点阈值计算和分类,对预处理后的数据,首先确定样本容量,然后选取模型计算,并计算样本均方误差,选取最优模型并划分阈值,最后对测点分类;

4)构建卷积网络训练和评判,根据大坝运行实际情况和工程经验,由监测人员检查得到大坝以及监测系统各级的评判结果,作为训练集和测试集;然后基于训练集和测试集训练卷积神经网络,最后对大坝进行安全综合评判;

所述步骤3)包含以下步骤:

3.1)确定样本容量:导入经过预处理之后的样本数据,选取初始窗口长度,划分训练样本和测试样本;

3.2)选取模型计算:对候选模型分别进行拟合,得到对应的拟合的方程,用拟合方程计算所需预测日期的前一天的径向位移作为校验,得到校验误差,校验误差作为对模型的校验;

3.3)计算样本均方差,其计算公式为: 其中n为样本的数量,i代表第i个样本,yi为样本的估计值,为估计值的平均值,n-1即为计算一元回归分析时样本均方误差的自由度;然后每次将样本量——步长加1,进行3.2)操作;如果增加样本量样本均方误差减小,那么应该继续找最优模型,如果连续7次都没有更新样本均方误差,则认为找到局部最优值;

3.4)划分测点阈值:统计各个模型的拟合结果,以样本均方误差值作为模型拟合的衡量指标,比较上述各个模型中任意两种模型中的样本均方误差的大小来确定最终的动态最优模型,采用最优模型的计算结果为预测值,根据测点实测值和预测值计算相对误差,即为阈值;

3.5)测点分类,根据大坝的运行状态对测点的分类。

2.如权利要求1所述的基于深度学习的大坝安全综合评判方法,其特征在于,大坝安全监测测点分级分为三个流程,分别是测点划分、测点编号、测点数据存储;首先根据大坝工程结构对监测系统进行抽象,然后对监测测点编号,所述步骤1)包含以下步骤:

1.1)测点划分:根据大坝工程特性,将监测系统抽象成树状结构;根节点为大坝,按照监测系统特征往下逐级划分为基本部位、监测项目、仪器类型,最底层为监测测点;

1.2)测点编号:首先为每个测点编号,编号应具有唯一性,并能反映测点所属的基本部位、监测项目、仪器类型;然后对基本部位、监测项目、仪器类型进行编号,并按照步骤1.1)中的测点划分,每一级节点建立到其子节点的索引,即大坝需要索引到所有的基本部位,每个基本部位索引到其对应监测项目,每个监测项目则索引到其对应所有仪器类型,仪器类型索引下属的所有监测测点;最后为大坝、基本部位、监测项目、仪器类型分别建立数据库表,并按照索引结构将大坝所有监测测点编号信息存入数据库;

1.3)测点数据存储:按照步骤1.2)中建立的测点编号,从自动化监测系统中汇集监测测点数据。

3.如权利要求1所述的基于深度学习的大坝安全综合评判方法,其特征在于,监测点P在日期D的分类计算方法如下:①考虑到监测的实时性,取日期D前15天到日期D的监测点数据作为样本,计算样本阈值的均值mean和标准差std;

②设测点P在日期D的监测值为x,定义Perfect、Regular、Examine、Problem四种基本状态,其中Perfect代表大坝运行状态完美,Regular代表大坝运行正常,Examine代表大坝运行需要检查,Problem代表大坝运行存在问题,需要检查;状态state计算公式如下:state=Perfect,mean-std

按照Perfect、Regular、Examine、Problem的顺序来判断,最终得到测点的分类;

③对测点分类进行量化,包括预处理中出现长时间序列缺失Missing的情况,将Missing视为Examine和Problem状态的叠加,计算方式为:Perfect=[1,0,0,0]

Regular=[0,1,0,0]

Examine=[0,0,1,0]

Problem=[0,0,0,1]

Missing=[0,0,1,1]。

4.如权利要求1所述的基于深度学习的大坝安全综合评判方法,其特征在于,所述步骤

4)包含以下步骤:

4.1)准备数据集:根据大坝运行实际情况和工程经验,由监测人员检查得到大坝以及监测系统各级的评判结果,作为训练集和测试集;

4.2)构建网络模型:在底层测点层级,采用多层卷积网络;在基本部位、监测项目、仪器类型和大坝层级,采用多层Softmax分类网络来进行训练和评判;

4.3)训练和评估模型:在建的卷积网络和Softmax网络中,交叉熵是一个训练批次中所有测点的交叉熵的总和;交叉熵定义如下,其中y是预测的概率分布,y′是实际的分布;

Hy′(y)=-∑iy′ilog(yi)

设定学习率,Softmax网络使用梯度下降算法以设定的学习率微调参数,不断减少成本;卷积网络用ADAM优化器来做梯度最速下降,并加入额外的参数来控制Dropout比例;

4.4)大坝安全综合评判:经过深度学习和参数调整,训练各层级网络,最终得到一个多层次的树状网络群模型,存储整个网络群的结构和参数;对大坝所有测点进行逐级评判,并实现大坝整体安全综合评判。

5.如权利要求4所述的基于深度学习的大坝安全综合评判方法,其特征在于,所述步骤

4)包含以下步骤:

①卷积网络:包括输入层、两层卷积和池化层、全连接层、Dropout层和输出层;

参数初始化:权重在初始化时加入少量的噪声来打破对称性以及避免0梯度,用较小的整数来初始化偏置项以避免神经元节点输出恒为0的问题;

卷积和池化:卷积从高维度数据中计算并提取出特征,然后用池化对不同的特征进行聚合统计;卷积和池化操作将原始数据映射到隐层特征空间;

全连接层:全连接层采用大量冗余参数,对提取的特征加权,融合前面网络学习到的深度特征,将其映射到样本标记空间;把上一层网络的输出乘上权重矩阵,加上偏置,然后对其使用修正线性单元ReLU;

Dropout层:为了减少过拟合,在输出层之前加入Dropout;设定神经元的输出在Dropout中保持不变的概率,并在训练过程中启用Dropout,在测试过程中关闭Dropout;

输出层:添加Softmax,得到分类结果;

②多层Softmax网络:由输入层、隐含层、输出层组成

输入层:对于一批要训练的测点,选定时间序列,设要分类的测点数目为n,代表分类的向量长度为4,因此将测点数据展开为长度为4n的一维向量,在训练过程中每个批次随机选择多个时间点的测点数据作为输入;

隐含层:激活函数为sigmoid,采用反向传播法更新参数,提取数据特征;

输出层:用Softmax给不同分类分配概率,并输出分类结果;

根据大坝树状结构,为不同的节点层级选用不同的网络模型,并将每一层的网络通过数据共享连接起来,最终构建一个具有多层次的树状网络群模型。

说明书 :

一种基于深度学习的大坝安全综合评判方法

技术领域

[0001] 本发明涉及一种基于深度学习的大坝安全综合评判方法,具体是一种对大坝自动化监测数据进行安全综合评判的方法,属于大坝安全监测领域。。

背景技术

[0002] 深度学习是机器学习中一种基于对数据进行表征学习的方法。观测值(例如一幅图像)可以使用多种方式来表示,如每个像素强度值的向量,或者更抽象地表示成一系列边、特定形状的区域等。而使用某些特定的表示方法更容易从实例中学习任务(例如,人脸识别或面部表情识别)。深度学习用非监督式或半监督式的特征学习和分层特征提取高效算法来替代手工获取特征。
[0003] 大坝安全监测是通过仪器观测和巡视检查对水工建筑物主体结构、地基基础、两岸边坡、相关设施以及周围环境所作的测量及观察;监测不仅包括对建筑物固定测点按一定频次进行的仪器观测,也包括对建筑物外表及内部大范围对象的定期或不定期的直观检查和仪器探查。通过观测仪器和设备,以及时取得反映大坝和基岩性态变化以及环境对大坝作用的各种数据的观测和资料处理等工作。其目的是分析估计大坝的安全程度,以便及时采取措施,设法保证大坝安全运行。
[0004] 传统的大坝安全监测方法是通过人工根据水工专业知识,参考水工建筑专家经验而建立结构力学模型,并用大坝安全监测数据来修正模型和调整参数,对应不同的监测类型需建立相应的力学模型。因而在应对海量监测数据时,用传统结构力学模型对大坝进行安全综合评判会面临模型复杂度增加、模型数目过多、模型参数难以调整且无法保证精度的风险,而且也会使人力成本急剧增加。
[0005] 本发明提供一种基于深度学习的大坝安全综合评判方法,深度学习网络模型基于大坝安全监测数据,对大坝安全监测海量数据进行表征学习,提取出数据特征。通过的大量的历史数据进行学习,深度学习网络模型能反映大坝安全监测的实时特征,在节约人力成本的同时保证大坝安全综合评判的精确性和实时性。

发明内容

[0006] 发明目的:针对大坝安全监测系统监测点多,数据量庞杂,人工处理和评判难度高且效率低的问题,本发明提供了一种基于深度学习的大坝安全综合评判方法,对海量监测数据进行特征学习,高效精确计算处理并得出评判结果。
[0007] 技术方案:一种基于深度学习的大坝安全综合评判方法,包括以下四个方面:
[0008] (1)大坝安全监测测点分级
[0009] (2)监测测点数据预处理
[0010] (3)测点阈值计算和分类
[0011] (4)构建卷积网络训练和评判
[0012] (1)大坝安全监测测点分级采用的如下:
[0013] 大坝安全监测测点分级的主要分为三个流程,分别是测点划分、测点编号、测点数据存储。首先根据大坝工程结构对监测系统进行抽象,然后对监测测点编号,最后从自动化监测系统中采集测点数据并存储。
[0014] ①测点划分:根据大坝工程特性,将监测系统抽象成树状结构。根节点为大坝,按照监测系统特征往下逐级划分为基本部位、监测项目、仪器类型,最底层为监测测点。
[0015] ②测点编号:首先为每个测点编号,编号应具有唯一性,并能反映测点所属的基本部位、监测项目、仪器类型。然后对基本部位、监测项目、仪器类型进行编号,并按照步骤①中的测点划分,每一级节点建立到其子节点的索引,即大坝需要索引到所有的基本部位,每个基本部位索引到其对应监测项目,每个监测项目则索引到其对应所有仪器类型,仪器类型所有下属的所有监测测点。最后为大坝、基本部位、监测项目、仪器类型分别建立数据库表,并按照索引结构将大坝所有监测测点编号信息存入数据库。
[0016] ③测点数据存储:按照步骤②中建立的测点编号,从自动化监测系统中汇集监测测点数据,并存储到对应的数据库表中。
[0017] (2)监测测点数据预处理采用的如下:
[0018] 监测测点数据预处理主要分为两个流程:填补缺失值和剔除明显异常值。由于外界因素如仪器故障、数据传输出错、传感器误差等会使得自动化监测系统中采集到的数据存在缺失值和明显异常值。因此对测点原始数据进行填补缺失值和剔除明显异常值是有必要的。
[0019] ①填补缺失值:对监测测点时间序列中的短时缺失数据进行填补,首先利用拟合方法计算缺失值,再用三次指数平滑法处理。对于长时间缺失序列,填补后的数据会存在很大误差,将其视为仪器异常,作为评判的因子之一。
[0020] 首先确定缺失数据时间点D,向前选取长度为N时间序列,选择均方误差阈值T;然后对长度为N的时间序列应用拟合方法,并计算均方误差E;若E
[0021] ②采用四分位数和差分法相结合的方法剔除明显偏离整体的点和极端数据。
[0022] 四分位数法计算:Q1:将数据按升序排列后分成四等分,按照升序方式排列数据,并进行四等分,第一个四分位数便是Q1;Q3:第三个四分位数;IQR=Q3-Q1。对每一个数据进行检测,如果它位于区间[min-1.5*IQR,max+1.5*IQR]则视为正常值,否则作为异常数据处理。四分位数法只能剔除明显偏离整体的点。
[0023] 差分法计算相邻两点之差的绝对值|y2-y1|,|y3-y2|,…,|yn-yn-1|,求出这组数的中位数median,如果|yi+1-yi|≤8*median,则视yi+1为正常,如果|yi+1-yi|>8*median,再判断其前面的|yi-yi-1|是否异常和后面的|yi+2-yi+1|是否也为异常,若这两个条件同时满足,则yi+1是异常数据。否则,可能是连续多天的数据较之前的存在较大偏差,这种情况并非异常。由于中位数在数据序列中具有稳定性,因此通过中位数来判别可以避免极端数据影响。
[0024] (3)测点阈值计算和分类采用的如下:
[0025] 测点阈值计算和分类主要分为五个流程:确定样本容量、选取模型计算、计算样本均方误差、划分测点阈值、测点分类。
[0026] ①确定样本容量:导入经过步骤(2)预处理之后的样本数据。选取初始窗口长度,划分训练样本和测试样本。
[0027] ②选取模型计算:对候选模型(指数模型、二次多项式模型、三次函数插值模型、三次样条插值模型和拉格朗日插值模型)分别进行拟合,得到对应的拟合的方程,用拟合方程计算所需预测日期的前一天的径向位移作为校验,得到校验误差,校验误差作为对模型的校验,可以分析模型本身的合理性以及预测的准确性。
[0028] ③计算样本均方差:样本均方误差(RMSE)作为预测模型好坏的评判标准,其计算公式为: 其中n为样本的数量,i代表第i个样本,yi为样本的估计值,为估计值的平均值,n-1即为计算一元回归分析时样本均方误差的自由度。
[0029] 然后每次将样本量(即步长加1),进行上述操作。如果增加样本量样本均方误差减小,那么应该继续找最优模型,如果连续7次都没有更新样本均方误差,而在这之后更新样本均方误差的概率小于0.003(如果样本每次增加1来求解局部最优看成是一次伯努利实验,且认为它是相互独立的,因为每次都有可能达到最优,并且认为它在每次实验中达到最优或者达不到最优的概率均为1/2,那么经过连续的7次实验都不能改善样本均方误差,那么7次以后再次改善样本均方误差值的概率小于0.00391(即2-8)为小概率事件),由于在一次随机试验的过程中,这种小概率事件发生的概率近乎于0,所以有理由找到局部最优值。
[0030] ④划分测点阈值:统计各个模型的拟合结果,以样本均方误差值作为模型拟合的衡量指标,比较上述两种模型中的样本均方误差的大小来确定最终的动态最优模型,采用最优模型的计算结果为预测值,根据测点实测值和预测值计算相对误差,即为阈值。
[0031] ⑤测点分类:监测点P在日期D的分类计算方法如下:
[0032] 1)考虑到监测的实时性,取日期D前15天到日期D的监测点数据作为样本,计算样本阈值的均值mean和标准差std;
[0033] 2)设测点P在日期D的监测值为x,定义Perfect、Regular、Examine、Problem四种基本状态,其中Perfect代表大坝运行状态完美,Regular代表大坝运行正常,Examine代表大坝运行需要检查,Problem代表大坝运行存在问题,需要检查。状态state计算公式如下:
[0034] state=Perfect,mean-std
[0035] state=Regular,mean-2*std
[0036] state=Examine,mean-3*std
[0037] state=Problem,else
[0038] 按照Perfect、Regular、Examine、Problem的顺序来判断,最终得到测点的分类。
[0039] 3)对测点分类进行量化,包括预处理中出现长时间序列缺失(Missing)的情况,将Missing视为Examine和Problem状态的叠加,计算方式为:
[0040] Perfect=[1,0,0,0]
[0041] Regular=[0,1,0,0]
[0042] Examine=[0,0,1,0]
[0043] Problem=[0,0,0,1]
[0044] Missing=[0,0,1,1]
[0045] (4)构建卷积网络训练和评判采用的如下:
[0046] 构建卷积网络训练和评判主要分为四个流程:准备数据集、构建网络模型、训练和评估模型、大坝安全综合评判。根据大坝运行实际情况和工程经验,由监测人员检查得到大坝以及监测系统各级的评判结果,作为训练集和测试集;然后基于训练集和测试集训练卷积神经网络,最后对大坝进行安全综合评判。
[0047] ①准备数据集:根据大坝运行实际情况和工程经验,由监测人员检查得到大坝以及监测系统各级的评判结果,作为训练集和测试集。
[0048] ②构建网络模型:根据步骤(1)划分的大坝树状结构特点,底层监测测点数目远超基本部位、监测项目、仪器类型的节点数目。在底层测点层级,数据量很大,卷积网络能通过共享卷积核,高效处理高维数据,且无需手动选取特征,训练好权重,即得特征分类效果好。在基本部位、监测项目、仪器类型和大坝层级,数据量会急剧减少,此时采用卷积网络并不会增加特征提取精度,并会增加训练时间成本和空间成本。因此改用多层Softmax分类网络来进行训练和评判,在保证分类精度的同时大幅减少训练成本。
[0049] 1)卷积网络:包括输入层、两层卷积和池化层、全连接层、Dropout层和输出层。
[0050] 参数初始化:为了创建卷积网络模型,需要创建大量的权重和偏置项,权重在初始化时加入少量的噪声来打破对称性以及避免0梯度。每层网络都使用ReLU(修正线性单元),因此用一个较小的整数来初始化偏置项以避免神经元节点输出恒为0的问题。
[0051] 卷积和池化:卷积从高维度数据中计算并提取出特征,然后用池化对不同的特征进行聚合统计,这些概要统计特征具有低得多的维度,并有效避免过拟合。卷积和池化操作将原始数据映射到隐层特征空间。
[0052] 全连接层:全连接层采用大量冗余参数,对提取的特征加权,融合前面网络学习到的深度特征,将其映射到样本标记空间。把上一层网络的输出乘上权重矩阵,加上偏置,然后对其使用ReLU(修正线性单元)。
[0053] Dropout层:为了减少过拟合,在输出层之前加入Dropout。设定神经元的输出在Dropout中保持不变的概率,并在训练过程中启用Dropout,在测试过程中关闭Dropout。
[0054] 输出层:添加Softmax,得到分类结果。
[0055] 2)多层Softmax网络:由输入层、隐含层、输出层组成
[0056] 输入层:对于一批要训练的测点,选定时间序列,设要分类的测点数目为n,代表分类的向量长度为4,因此将测点数据展开为长度为4n的一维向量,在训练过程中每个批次随机选择多个时间点的测点数据作为输入。
[0057] 隐含层:激活函数为sigmoid,采用反向传播法更新隐含层权重和偏置参数,提取数据特征。
[0058] 输出层:用Softmax给不同分类分配概率,并输出分类结果。
[0059] 根据大坝树状结构,为不同的节点层级选用不同的网络模型,并将每一层的网络通过数据共享连接起来,最终构建一个具有多层次的树状网络群模型。
[0060] ③训练和评估模型:交叉熵是用来衡量网络模型的预测用于描述真相的低效性。在本发明构建的卷积网络和Softmax网络中,交叉熵不仅仅用来衡量单一的一对预测和真实值,而是一个训练批次中所有测点的交叉熵的总和,对于整个训练批次数据点的预测表现比单一数据点的表现能更好地描述模型的性能。交叉熵定义如下,其中y是我们预测的概率分布,y′是实际的分布,i指的是训练批次中第i个批次。
[0061] Hy′(y)=-∑iy′ilog(yi)
[0062] 定义好损失函数之后,设定学习率。Softmax网络使用梯度下降算法以一定的学习率微调参数,不断减少成本。卷积网络用更加复杂的ADAM优化器来做梯度最速下降,并加入额外的参数来控制Dropout比例。
[0063] ④大坝安全综合评判:经过深度学习和参数调整,训练各层级网络,最终得到一个多层次的树状网络群模型,存储整个网络群的结构和参数。对大坝所有测点进行逐级评判,并实现大坝整体安全综合评判。
[0064] 有益效果:与现有技术相比,本发明提供的基于深度学习的大坝安全综合评判方法通过对大坝安全监测测点分级、监测测点数据预处理、测点阈值计算和分类、构建卷积网络训练和评判实现大坝安全综合评判,提高大坝安全综合评判效率和精度,为大坝监测提供可靠依据。

附图说明

[0065] 图1为本发明实例的基于深度学习的大坝安全综合评判方法的总体框架图;
[0066] 图2为本发明实例的测点划分结构图。

具体实施方式

[0067] 下面结合具体实施例,进一步阐明本发明,应理解这些实施例仅用于说明本发明而不用于限制本发明的范围,在阅读了本发明之后,本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。
[0068] 图1为本发明提供的基于深度学习的大坝安全综合评判方法的总体框架图,其工作过程如下描述:
[0069] ①大坝安全监测测点分级。根据大坝工程结构对监测系统进行抽象,划分出监测测点,然后对监测测点编号,最后从自动化监测系统中采集测点数据并存储。测点划分如附图2所示,根节点为大坝,按照监测系统特征往下逐级划分为基本部位、监测项目、仪器类型,最底层为监测测点。
[0070] 然后对监测测点、基本部位、监测项目、仪器类型逐级进行唯一编号,并按照测点划分,每一级节点建立到其子节点的索引,即大坝需要索引到所有的基本部位,每个基本部位索引到其对应监测项目,每个监测项目则索引到其对应所有仪器类型,仪器类型所有下属的所有监测测点。最后为大坝、基本部位、监测项目、仪器类型分别建立数据库表,并按照索引结构将大坝所有监测测点编号信息存入数据库。
[0071] 按照各级测点编号,从自动化监测系统中汇集监测测点数据,并存储到对应的数据库表中。
[0072] ②监测测点数据预处理。包括填补缺失值和剔除明显异常值。
[0073] 填补缺失值:对监测测点时间序列中的短时缺失数据进行填补,首先利用拟合方法计算缺失值,再用三次指数平滑法处理。首先确定缺失数据时间点D,向前选取长度为N时间序列,选择均方误差阈值T;然后对长度为N的时间序列应用拟合方法,并计算均方误差E;若E
[0074] 采用四分位数和差分法相结合的方法剔除明显偏离整体的点和极端数据。四分位数法计算:Q1:将数据按升序排列后分成四等分,按照升序方式排列数据,并进行四等分,第一个四分位数便是Q1;Q3:第三个四分位数;IQR=Q3-Q1。对每一个数据进行检测,如果它位于区间[min-1.5*IQR,max+1.5*IQR]则视为正常值,否则作为异常数据处理。四分位数法只能剔除明显偏离整体的点。
[0075] 差分法计算相邻两点之差的绝对值|y2-y1|,|y3-y2|,…,|yn-yn-1|,求出这组数的中位数median,如果|yi+1-yi|≤8*median,则视yi+1为正常,如果|yi+1-yi|>8*median,再判断其前面的|yi-yi-1|是否异常和后面的|yi+2-yi+1|是否也为异常,若这两个条件同时满足,则yi+1是异常数据。否则,可能是连续多天的数据较之前的存在较大偏差,这种情况并非异常。由于中位数在数据序列中具有稳定性,因此通过中位数来判别可以避免极端数据影响。
[0076] ③测点阈值计算和分类。包括确定样本容量、选取模型计算、计算样本均方误差、划分测点阈值、测点分类。
[0077] 确定样本容量:导入经过预处理之后的样本数据。选取初始窗口长度,划分训练样本和测试样本。
[0078] 选取模型计算:对候选模型(指数模型、二次多项式模型、三次函数插值模型、三次样条插值模型和拉格朗日插值模型)分别进行拟合,得到对应的拟合的方程,用拟合方程计算所需预测日期的前一天的径向位移作为校验,得到校验误差,校验误差作为对模型的校验。
[0079] 计算样本均方差:样本均方误差(RMSE)作为预测模型好坏的评判标准,其计算公式为: 其中n为样本的数量,yi为样本的估计值,为估计值的平均值,n-1即为计算一元回归分析时样本均方误差的自由度。
[0080] 然后每次将样本量(即步长加1),进行上述操作。如果增加样本量样本均方误差减小,那么应该继续找最优模型,如果连续7次都没有更新样本均方误差,则认为找到局部最优值。
[0081] 划分测点阈值:统计各个模型的拟合结果,以样本均方误差值作为模型拟合的衡量指标,比较上述两种模型中的样本均方误差的大小来确定最终的动态最优模型,采用最优模型的计算结果为预测值,根据测点实测值和预测值计算相对误差,即为阈值。
[0082] 测点分类:监测点P在日期D的分类计算方法如下:
[0083] 1)考虑到监测的实时性,取日期D前15天到日期D的监测点数据作为样本,计算样本阈值的均值mean和标准差std;
[0084] 2)设测点P在日期D的监测值为x,定义Perfect、Regular、Examine、Problem四种基本状态,其中Perfect代表大坝运行状态完美,Regular代表大坝运行正常,Examine代表大坝运行需要检查,Problem代表大坝运行存在问题,需要检查。状态state计算公式如下:
[0085] state=Perfect,mean-std
[0086] state=Regular,mean-2*std
[0087] state=Examine,mean-3*std
[0088] state=Problem,else
[0089] 按照Perfect、Regular、Examine、Problem的顺序来判断,最终得到测点的分类。
[0090] 3)对测点分类进行量化,包括预处理中出现长时间序列缺失(Missing)的情况,将Missing视为Examine和Problem状态的叠加,计算方式为:
[0091] Perfect=[1,0,0,0]
[0092] Regular=[0,1,0,0]
[0093] Examine=[0,0,1,0]
[0094] Problem=[0,0,0,1]
[0095] Missing=[0,0,1,1]
[0096] 每一个状态对应一个长度为4的向量,用向量代表状态分类。
[0097] ④构建卷积网络训练和评判。包括准备数据集、构建网络模型、训练和评估模型、大坝安全综合评判。根据大坝运行实际情况和工程经验,由监测人员检查得到大坝以及监测系统各级的评判结果,作为训练集和测试集;然后基于训练集和测试集训练卷积神经网络,最后对大坝进行安全综合评判。
[0098] 准备数据集:根据大坝运行实际情况和工程经验,由监测人员检查得到大坝以及监测系统各级的评判结果,作为训练集和测试集。
[0099] 构建网络模型:在底层测点层级,采用多层卷积网络。在基本部位、监测项目、仪器类型和大坝层级,采用多层Softmax分类网络来进行训练和评判。
[0100] 1)卷积网络:包括输入层、两层卷积和池化层、全连接层、Dropout层和输出层。
[0101] 参数初始化:权重在初始化时加入少量的噪声来打破对称性以及避免0梯度,用较小的整数来初始化偏置项以避免神经元节点输出恒为0的问题。
[0102] 卷积和池化:卷积从高维度数据中计算并提取出特征,然后用池化对不同的特征进行聚合统计。卷积和池化操作将原始数据映射到隐层特征空间。
[0103] 全连接层:全连接层采用大量冗余参数,对提取的特征加权,融合前面网络学习到的深度特征,将其映射到样本标记空间。把上一层网络的输出乘上权重矩阵,加上偏置,然后对其使用ReLU(修正线性单元)。
[0104] Dropout层:为了减少过拟合,在输出层之前加入Dropout。设定神经元的输出在Dropout中保持不变的概率,并在训练过程中启用Dropout,在测试过程中关闭Dropout。
[0105] 输出层:添加Softmax,得到分类结果。
[0106] 2)多层Softmax网络:由输入层、隐含层、输出层组成
[0107] 输入层:对于一批要训练的测点,选定时间序列,设要分类的测点数目为n,代表分类的向量长度为4,因此将测点数据展开为长度为4n的一维向量,在训练过程中每个批次随机选择多个时间点的测点数据作为输入。
[0108] 隐含层:激活函数为sigmoid,采用反向传播法更新参数,提取数据特征。
[0109] 输出层:用Softmax给不同分类分配概率,并输出分类结果。
[0110] 根据大坝树状结构,为不同的节点层级选用不同的网络模型,并将每一层的网络通过数据共享连接起来,最终构建一个具有多层次的树状网络群模型。
[0111] 训练和评估模型:在本发明构建的卷积网络和Softmax网络中,交叉熵是一个训练批次中所有测点的交叉熵的总和。交叉熵定义如下,其中y是我们预测的概率分布,y′是实际的分布。
[0112] Hy′(y)=-Σiy′ilog(yi)
[0113] 设定学习率,Softmax网络使用梯度下降算法以一定的学习率微调参数,不断减少成本。卷积网络用更加复杂的ADAM优化器来做梯度最速下降,并加入额外的参数来控制Dropout比例。
[0114] 大坝安全综合评判:经过深度学习和参数调整,训练各层级网络,最终得到一个多层次的树状网络群模型,存储整个网络群的结构和参数。对大坝所有测点进行逐级评判,并实现大坝整体安全综合评判。
[0115] 根据以上实施例可知,针对传统人工计算结构力学模型以进行大坝安全综合评判的模型复杂度高,计算效率低,评判精度低,人力成本高的问题,本发明的方法,通过大坝安全监测测点分级、监测测点数据预处理、测点阈值计算和分类、构建卷积网络训练和评判,提高大坝安全综合评判效率和精度,为大坝监测提供可靠依据。