一种工程建设项目监管系统及方法转让专利

申请号 : CN202210413174.5

文献号 : CN114528314B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 顾红松赵启斌唐为之鲍超张霞

申请人 : 四川省大数据中心

摘要 :

本发明公开了一种工程建设项目监管系统及方法,通过对数据资源进行统一汇聚、统一整合、统一汇总、统一计算和统一规划,对数据进行清洗,通过大数据技术进行数据挖掘、多维分析、实时预测、可视化展示、直观呈现数据、追踪项目进度、辅助领导决策。

权利要求 :

1.一种工程建设项目监管系统,其特征在于,包括数据采集层、数据加工层、服务层以及应用层;

所述数据采集层,用于采集工程建设项目相关的基础数据,所述基础数据包括综窗系统的项目数据、水电气信报装系统的机构数据和办件数据、中介超市系统的机构数据和办件数据、效能监督管理系统的项目数据和办件数据,以及综合受办平台的基础数据和办件数据;

所述数据加工层,用于对采集的基础数据进行数据清洗及数据转换处理,并将处理后的数据装载至工程建设项目分析数据库中;

所述服务层,用于根据项目监管需求调用项目分析数据库中的相关数据进行分析并获得对应的分析结果,所述分析结果包括项目分布分析、办理过程分析及预警监测分析;

所述应用层,用于通过服务接口调取所需分析结果并进行展示;

所述数据采集层中,对于综窗系统、中介超市系统和水电气信报装系统的基础数据通过配置接口使用Web服务描述语言的方式进行采集;

对于效能监督管理系统以及综合受办平台的基础数据采用数据库连接的方式进行采集;

所述工程建设项目监管系统还包括日志采集模块,所述日志采集模块设置于所述数据加工层中,用于对数据加工层工作过程中的计算任务、流程健康状况、执行日志以及数据处理情况进行监控;

所述数据加工层包括HIVE仓库、数据清洗单元、数据转换单元以及数据装载单元;

所述HIVE仓库,用于按类别存储数据采集层采集的所有基础数据;

所述数据清洗单元,用于对各个类别的基础数据中的不完整数据、错误数据以及重复数据进行处理,获取完整、正确且唯一的基础数据;

所述数据转换单元,用于将处理后的各类数据进行关联查询及转换处理,获得各类数据的结果表及汇总数据;

所述数据装载单元,用于将结果表及汇总数据装载至工程建设项目分析数据库中;

所述服务层中,对调用项目分析数据库中的相关数据进行分析,获得项目分布分析结果及办理过程分析结果的分析处理具体为:B1、对工程建设项目分析数据库中存储的数据进行多标签分类;

其中,获取项目分布分析结果对应的标签包括项目类型、项目完成阶段以及项目所在地区;获取办理过程分析结果对应的标签包括项目审批状态、项目审批类型、项目建设办件类型、项目建设办件状态;

B2、构建分类结果与分析目标之间的关联映射表;

其中,所述分析目标包括项目分布分析以及办理过程分析;

B3、确定分析目标,并根据关联映射表选择对应的标签数据;

B4、将标签数据输入到关联分析模型中,并对输出结果进行统计分析,获取基于标签数据的分析结果;

其中,分析结果包括项目分布分析结果以及办理过程分析结果,所述项目分布分析结果包括地区项目分布、阶段项目分布、项目趋势分布以及项目类型分布;所述办理过程分析结果包括审批用时分析、办件趋势分布、以及逾期办件分布;

基于获得分析目标的方法,基于业务要求,对项目运行情况进行分析,考虑项目数量和项目金额两大指标,从不同的维度分析项目的分布及项目的分布趋势,对项目审批过程进行分析,分析项目办件趋势,对审批时间进行分析,进而进行效能分析,得出异常办件信息,对超期办件进行预警通知;对辅线系统运行情况进行分析,针对水电气信报装和中介超市的机构入住情况进行统计分析,了解各机构入驻情况,并针对办件情况进行分析,了解辅线模块的办件趋势。

2.一种基于权利要求1所述的工程建设项目监管系统的监管方法,其特征在于,包括以下步骤:S1、对工程建设项目基础数据进行数据加工处理;

其中,数据加工处理包括依次进行数据清洗和数据转换处理,并装载至工程建设项目分析数据库中;

S2、对工程建设项目分析数据中的数据进行数据分析处理,获得项目分布分析结果、办理过程分析结果以及预警监测分析结果;

S3、根据工程建设项目监管需求,通过服务接口调用对应的分析结果并展示,实现工程建设项目监管;

所述步骤S2中,获取项目分布分析结果及办理过程分析结果的数据分析处理方法具体为:B1、对工程建设项目分析数据库中存储的数据进行多标签分类;

其中,获取项目分布分析结果对应的标签包括项目类型、项目完成阶段以及项目所在地区;获取办理过程分析结果对应的标签包括项目审批状态、项目审批类型、项目建设办件类型、项目建设办件状态;

B2、构建分类结果与分析目标之间的关联映射表;

其中,所述分析目标包括项目分布分析以及办理过程分析;

B3、确定分析目标,并根据关联映射表选择对应的标签数据;

B4、将标签数据输入到关联分析模型中,并对输出结果进行统计分析,获取基于标签数据的分析结果;

其中,分析结果包括项目分布分析结果以及办理过程分析结果,所述项目分布分析结果包括地区项目分布、阶段项目分布、项目趋势分布以及项目类型分布;所述办理过程分析结果包括审批用时分析、办件趋势分布、以及逾期办件分布;

基于获得分析目标的方法,基于业务要求,对项目运行情况进行分析,考虑项目数量和项目金额两大指标,从不同的维度分析项目的分布及项目的分布趋势,对项目审批过程进行分析,分析项目办件趋势,对审批时间进行分析,进而进行效能分析,得出异常办件信息,对超期办件进行预警通知;对辅线系统运行情况进行分析,针对水电气信报装和中介超市的机构入住情况进行统计分析,了解各机构入驻情况,并针对办件情况进行分析,了解辅线模块的办件趋势。

3.根据权利要求2所述的工程建设项目监管方法,其特征在于,所述步骤S1中的基础数据包括综窗系统的项目数据、水电气信报装系统的机构数据和办件数据、中介超市系统的机构数据和办件数据、效能监督管理系统的项目数据和办件数据,以及综合受办平台的机构数据和办件数据;

所述步骤S1中,进行数据清洗的基础数据包括不完整数据、错误数据以及重复数据;

其中,对不完整数据进行数据清洗的方法具体为:

A1、确定与不完整数据的数据类型相同的其他完整基础数据;

A2、根据欧氏距离和马氏距离确定其他完整基础数据中距离不完整数据中缺失值最近的K个值;

A3、确定将K个值的加权平均值,进而对不完整数据进行补全处理;

对错误数据进行数据清洗的方法具体为:

对错误数据进行标准化处理,判断标注化处理后的数据是否大于设定阈值,若是,则其为错误数据,将其加入到异常池,否则,为正确数据;

对于加入到异常池中的数据,通过人工稽查的方式再次核查其是否为错误数据,若是,则将其保留在异常池中,否则将其从异常池中释放作为正确数据;

对重复数据进行数据清洗的方法具体为:

对于同一基础数据来源、同一时间段内采集的相同基础数据,去除其重复数据,保留唯一基础数据;

所述步骤S1中,对数据清洗后的基础数据进行数据转换包括:(1)将综窗系统的项目数据中的项目清单和项目详细信息采用结构化查询语言的方式进行查询关联处理,并得到对应的结果表;

(2)将效能监督管理系统中的项目数据中的项目表和项目详细表中的数据采用结构化查询语言的方式进行查询关联处理,并得到对应的结果表;

(3)将水电气信报装系统、中介超市、以及综合受办平台的机构数据进行字段删减及粒度转换,获得将详细信息转换为以地区为维度的机构汇总数据;

(4)将水电气信报装系统、中介超市、以及综合受办平台中的办件数据进行字段删减,并将删减后的办件数据整合在一起,获得办件汇总数据。

4.根据权利要求2所述的工程建设项目监管方法,其特征在于,所述步骤S1中,通过日志采集模块对数据加工处理进行全过程监控并输出对应的记录日志,记录日志记录的信息包括每一个执行动作信息、执行时间以及执行结果,并在执行失败时,反馈记录的错误信息,所述错误信息包括执行动作的具体步骤以及结构化查询语句的具体位置;

所述记录日志包括执行过程日志、错误日志以及总体日志。

5.根据权利要求2所述的工程建设项目监管方法,其特征在于,所述步骤B4中,关联分析模型的表达式为:式中, 为关联模型输出的关联值,为关联度权重系数, 为绝对关联度, 为相对关联度;

其中, , 为与绝对关联度相关的因变量统计值,

为与绝对关联度相关的相关因素统计值;

, 为与相对关联度相关的因变量统计值, 为

与相对关联度相关的相关因素统计值。

6.根据权利要求2所述的工程建设项目监管方法,其特征在于,所述步骤S2中,获取预警监测分析结果的数据分析处理方法具体为:C1、设置工程建设项目的逾期监测类型及其对应的各阶段监测数据对应的时间阈值;

C2、实时调取工程建设项目分析数据库中与项目完成阶段、项目审批状态、项目建设办件状态相关的阶段数据及实际时间数据;

C3、根据阶段数据调用对应的时间阈值,并将其与实际时间数据进行对比,确定是否发生逾期事件;

若是,则进入步骤C4;

若否,则进入步骤C5;

C4、向对应的基础数据上传系统发送逾期通知;

C5、确定当前阶段的实际时间数据距离下一阶段设定的时间阈值之间的差值,当差值小于设定阈值时,向对应的基础数据上传系统发送逾期预警通知。

说明书 :

一种工程建设项目监管系统及方法

技术领域

[0001] 本发明属于工程项目监管技术领域,具体涉及一种工程建设项目大数据能效监管系统及方法。

背景技术

[0002] 工程建设项目审批制度是目前推动政府职能和深化“放管服”改革、优化营商环境的重要内容。在其实现技术层面上,可以通过数据仓库和结构化程序语言来实现,目前常用的有数据仓库工具,数据仓库工具通过可视化操作屏蔽了复杂的编码任务,提高了开发速度,降低了难度,但是缺少灵活性。结构化查询语言比数据仓库相比更加灵活,提高了运行效率,但是编码复杂,对技术的要求要求高。两者看来,都不是最优的方案。

发明内容

[0003] 针对现有技术中的上述不足,本发明提供的工程建设项目监管系统及方法解决了现有的工程建设项目难以从宏观上对各个过程进行监管、且监管效率低,以及难以进行建设任务的统一维护和管理的问题。
[0004] 为了达到上述发明目的,本发明采用的技术方案为:一种工程建设项目监管系统,包括数据采集层、数据加工层、服务层以及应用层;
[0005] 所述数据采集层,用于采集工程建设项目相关的基础数据,所述基础数据包括综窗系统的项目数据、水电气信报装系统的机构数据和办件数据、中介超市系统的机构数据和办件数据、效能监督管理系统的项目数据和办件数据,以及综合受办平台的基础数据和办件数据;
[0006] 所述数据加工层,用于对采集的基础数据进行数据清洗及数据转换处理,并将处理后的数据装载至工程建设项目分析数据库中;
[0007] 所述服务层,用于根据项目监管需求调用项目分析数据库中的相关数据进行分析并获得对应的分析结果,所述分析结果包括项目分布分析、办理过程分析及预警监测分析;
[0008] 所述应用层,用于通过服务接口调取所需分析结果并进行展示。
[0009] 进一步地,所述数据采集层中,对于综窗系统、中介超市系统和水电气信报装系统的基础数据通过配置接口使用Web服务描述语言的方式进行采集;
[0010] 对于效能监督管理系统以及综合受办平台的基础数据采用数据库连接的方式进行采集。
[0011] 上述进一步方案的有益效果为:基于不同的系统采用对应的数据采集方式,避免对现有系统的数据接口进行改造,以便更快地部署整个系统结构。
[0012] 进一步地,所述数据加工层包括HIVE仓库、数据清洗单元、数据转换单元以及数据装载单元;
[0013] 所述HIVE仓库,用于按类别存储数据采集层采集的所有基础数据;
[0014] 所述数据清洗单元,用于对各个类别的基础数据中的不完整数据、错误数据以及重复数据进行处理,获取完整、正确且唯一的基础数据;
[0015] 所述数据转换单元,用于将处理后的各类数据进行关联查询及转换处理,获得各类数据的结果表及汇总数据;
[0016] 所述数据装载单元,用于将结果表及汇总数据装载至工程建设项目分析数据库中。
[0017] 上述进一步方案的有益效果为:通过数据加工层中各个功能单元的数据处理,获取准确的基础数据,便于后续服务层对基础数据进行分析处理,获取更加准确的分析结果。
[0018] 进一步地,所述工程建设项目监管系统还包括日志采集模块,所述日志采集模块设置于所述数据加工层中,用于对数据加工层工作过程中的计算任务、流程健康状况、执行日志以及数据处理情况进行监控。
[0019] 上述进一步方案的有益效果为:通过日志采集模块对数据加工层的数据处理过程进行监控,便于在出现数据处理故障时,快速找出故障点并进行修复。
[0020] 一种工程建设项目监管方法,包括以下步骤:
[0021] S1、对工程建设项目基础数据进行数据加工处理;
[0022] 其中,数据加工处理包括依次进行数据清洗和数据转换处理,并装载至工程建设项目分析数据库中;
[0023] S2、对工程建设项目分析数据中的数据进行数据分析处理,获得项目分布分析结果、办理过程分析结果以及预警监测分析结果;
[0024] S3、根据工程建设项目监管需求,通过服务接口调用对应的分析结果并展示,实现工程建设项目监管。
[0025] 进一步地,所述步骤S1中的基础数据包括综窗系统的项目数据、水电气信报装系统的机构数据和办件数据、中介超市系统的机构数据和办件数据、效能监督管理系统的项目数据和办件数据,以及综合受办平台的机构数据和办件数据;
[0026] 所述步骤S1中,进行数据清洗的基础数据包括不完整数据、错误数据以及重复数据;
[0027] 其中,对不完整数据进行数据清洗的方法具体为:
[0028] A1、确定与不完整数据的数据类型相同的其他完整基础数据;
[0029] A2、根据欧氏距离和马氏距离确定其他完整基础数据中距离不完整数据中缺失值最近的K个值;
[0030] A3、确定将K个值的加权平均值,进而对不完整数据进行补全处理;
[0031] 对错误数据进行数据清洗的方法具体为:
[0032] 对错误数据进行标准化处理,判断标注化处理后的数据是否大于设定阈值,若是,则其为错误数据,将其加入到异常池,否则,为正确数据;
[0033] 对于加入到异常池中的数据,通过人工稽查的方式再次核查其是否为错误数据,若是,则将其保留在异常池中,否则将其从异常池中释放作为正确数据;
[0034] 对重复数据进行数据清洗的方法具体为:
[0035] 对于同一基础数据来源、同一时间段内采集的相同基础数据,去除其重复数据,保留唯一基础数据;
[0036] 所述步骤S1中,对数据清洗后的基础数据进行数据转换包括:
[0037] (1)将综窗系统的项目数据中的项目清单和项目详细信息采用结构化查询语言的方式进行查询关联处理,并得到对应的结果表;
[0038] (2)将效能监督管理系统中的项目数据中的项目表和项目详细表中的数据采用结构化查询语言的方式进行查询关联处理,并得到对应的结果表;
[0039] (3)将水电气信报装系统、中介超市、以及综合受办平台的机构数据进行字段删减及粒度转换,获得将详细信息转换为以地区为维度的机构汇总数据;
[0040] (4)将水电气信报装系统、中介超市、以及综合受办平台中的办件数据进行字段删减,并将删减后的办件数据整合在一起,获得办件汇总数据。
[0041] 上述进一步方案的有益效果为:通过对采集基础数据的前期加工处理,为后续获得更加准确的数据分析结果打下基础。
[0042] 进一步地,所述步骤S1中,通过日志采集模块对数据加工处理进行全过程监控并输出对应的记录日志,记录日志记录的信息包括每一个执行动作信息、执行时间以及执行结果,并在执行失败时,反馈记录的错误信息,所述错误信息包括执行动作的具体步骤以及结构化查询语句的具体位置;
[0043] 所述记录日志包括执行过程日志、错误日志以及总体日志。
[0044] 上述进一步方案的有益效果为:通过设置日志采集模块,并对其中记录的日志进行分类,以便实时查看数据加工过程,及快速解决数据处理错误问题。
[0045] 进一步地,所述步骤S2中,获取项目分布分析结果及办理过程分析结果的数据分析处理方法具体为:
[0046] B1、对工程建设项目分析数据库中存储的数据进行多标签分类;
[0047] 其中,获取项目分布分析结果对应的标签包括项目类型、项目完成阶段以及项目所在地区;获取办理过程分析结果对应的标签包括项目审批状态、项目审批类型、项目建设办件类型、项目建设办件状态;
[0048] B2、构建分类结果与分析目标之间的关联映射表;
[0049] 其中,所述分析目标包括项目分布分析以及办理过程分析;
[0050] B3、确定分析目标,并根据关联映射表选择对应的标签数据;
[0051] B4、将标签数据输入到关联分析模型中,并对输出结果进行统计分析,获取基于标签数据的分析结果;
[0052] 其中,分析结果包括项目分布分析结果以及办理过程分析结果,所述项目分布分析结果包括地区项目分布、阶段项目分布、项目趋势分布以及项目类型分布;所述办理过程分析结果包括审批用时分析、办件趋势分布、以及逾期办件分布。
[0053] 进一步地,所述步骤B4中,关联分析模型的表达式为:
[0054]
[0055] 式中, 为关联模型输出的关联值, 为关联度权重系数, 为绝对关联度,为相对关联度;
[0056] 其中, , 为与绝对关联度相关的因变量统计值, 为与绝对关联度相关的相关因素统计值;
[0057] , 为与相对关联度相关的因变量统计值, 为与相对关联度相关的相关因素统计值。
[0058] 上述进一步方案的有益效果为:通过对工程建设项目分析数据库中的数据进行再分类及根据分析目标,对其进行有针对性的分析处理,以便获取更加准确的分析结果。
[0059] 进一步地,所述步骤S2中,获取预警监测分析结果的数据分析处理方法具体为:
[0060] C1、设置工程建设项目的逾期监测类型及其对应的各阶段监测数据对应的时间阈值;
[0061] C2、实时调取工程建设项目分析数据库中与项目完成阶段、项目审批状态、项目建设办件状态相关的阶段数据及实际时间数据;
[0062] C3、根据阶段数据调用对应的时间阈值,并将其与实际时间数据进行对比,确定是否发生逾期事件;
[0063] 若是,则进入步骤C4;
[0064] 若否,则进入步骤C5;
[0065] C4、向对应的基础数据上传系统发送逾期通知;
[0066] C5、确定当前阶段的实际时间数据距离下一阶段设定的时间阈值之间的差值,当差值小于设定阈值时,向对应的基础数据上传系统发送逾期预警通知。
[0067] 上述进一步方案的有益效果为:基于项目实际进度与设定进度阈值之间的对比,以便对工程建设项目进行逾期通知及预警,进而提高工程建设项目的进度。
[0068] 本发明的有益效果为:
[0069] (1)本发明基于大数据技术实现工程建设项目的监管,通过大数据技术监管汇聚各个子系统信息数据,通过数据挖掘、多维分析、实时预测、可视化展示等,进而从宏观上掌握工程建设项目情况、监控重点项目进展、了解工程建设项目的重点工作,不断提高在监管工程建设项目时的科学决策水平;
[0070] (2)本发明在大数据的基础上,通过HIVE仓库工具结合结构化查询语言的方式,综合两者的优点,通过可视化工作台进行系统开发,降低了编码难度,提高了开发速度,保持了开发的灵活性,并且便于系统任务的统一维护和管理;
[0071] (3)本发明中将采集到的数据导入hive数据仓库,再通过hive数据仓库进行数据清洗、数据转换和数据装载,结合结构化查询语言的方式,通过结构化查询语言来实现数据清洗、数据转换和数据装载这些过程,并结合现有技术的优点,最大程度规避现有技术存在的缺陷,将数据开发过程变得更加方便,降低了编码难度,提高了开发速度和效率,同时也保持开发的灵活性,使数据处理过程更加简单。

附图说明

[0072] 图1为本发明提供的工程建设项目监管系统结构示意图。
[0073] 图2为本发明提供的工程建设项目监管方法流程图。

具体实施方式

[0074] 下面对本发明的具体实施方式进行描述,以便于本技术领域的技术人员理解本发明,但应该清楚,本发明不限于具体实施方式的范围,对本技术领域的普通技术人员来讲,只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内,这些变化是显而易见的,一切利用本发明构思的发明创造均在保护之列。
[0075] 实施例1:
[0076] 如图1所示,一种工程建设项目监管系统,:包括数据采集层、数据加工层、服务层以及应用层;
[0077] 所述数据采集层,用于采集工程建设项目相关的基础数据,所述基础数据包括综窗系统的项目数据、水电气信报装系统的机构数据和办件数据、中介超市系统的机构数据和办件数据、效能监督管理系统的项目数据和办件数据,以及综合受办平台的基础数据和办件数据;
[0078] 所述数据加工层,用于对采集的基础数据进行数据清洗及数据转换处理,并将处理后的数据装载至工程建设项目分析数据库中;
[0079] 所述服务层,用于根据项目监管需求调用项目分析数据库中的相关数据进行分析并获得对应的分析结果,所述分析结果包括项目分布分析、办理过程分析及预警监测分析;
[0080] 所述应用层,用于通过服务接口调取所需分析结果并进行展示。
[0081] 在本发明实施例中,由于数据量庞大,并且需要按照固定时间或周期进行数据更新,首先需要配置各个系统的数据采集方式;因此,在数据采集层中,对于综窗系统、中介超市系统和水电气信报装系统的基础数据通过配置接口使用Web服务描述语言的方式进行采集;对于效能监督管理系统以及综合受办平台的基础数据采用数据库连接的方式进行采集。
[0082] 在本发明实施例中,图1中的数据加工层包括HIVE仓库、数据清洗单元、数据转换单元以及数据装载单元;
[0083] 所述HIVE仓库,用于按类别存储数据采集层采集的所有基础数据;
[0084] 所述数据清洗单元,用于对各个类别的基础数据中的不完整数据、错误数据以及重复数据进行处理,获取完整、正确且唯一的基础数据;对于不完整的数据,需要通过其他信息来补全,例如当效能监督管理系统的项目数据不完整时,通过对比综窗系统的项目数据来补全缺少的数据,如果无法补全的数据则选择剔除;对于错误数据,针对一些明显的错误比如项目金额为零的数据放入异常池,人工稽核之后重新上传数据,再对这部分数据进行采集;对比重复数据,必须进行去重,保留唯一记录;
[0085] 所述数据转换单元,用于将处理后的各类数据进行关联查询及转换处理,获得各类数据的结果表及汇总数据;包括综窗系统和效能监督管理系统对应的结果表,以及水电气信报装系统、中介超市和综合受办平台的办件和机构数据的汇总数据;
[0086] 所述数据装载单元,用于将结果表及汇总数据装载至工程建设项目分析数据库中。
[0087] 在本发明实施例中,所述工程建设项目监管系统还包括日志采集模块,所述日志采集模块设置于所述数据加工层中,用于对数据加工层工作过程中的计算任务、流程健康状况、执行日志以及数据处理情况进行监控。
[0088] 实施例2:
[0089] 如图2所示,本发明实施例中提供了一种基于实施例1中的工程建设项目监管系统的监管方法,包括以下步骤:
[0090] S1、对工程建设项目基础数据进行数据加工处理;
[0091] 其中,数据加工处理包括依次进行数据清洗和数据转换处理,并装载至工程建设项目分析数据库中;
[0092] S2、对工程建设项目分析数据中的数据进行数据分析处理,获得项目分布分析结果、办理过程分析结果以及预警监测分析结果;
[0093] S3、根据工程建设项目监管需求,通过服务接口调用对应的分析结果并展示,实现工程建设项目监管。
[0094] 本发明实施例的步骤S1中的基础数据包括综窗系统的项目数据、水电气信报装系统的机构数据和办件数据、中介超市系统的机构数据和办件数据、效能监督管理系统的项目数据和办件数据,以及综合受办平台的机构数据和办件数据;
[0095] 所述步骤S1中,进行数据清洗的基础数据包括不完整数据、错误数据以及重复数据;
[0096] 其中,对不完整数据进行数据清洗的方法具体为:
[0097] A1、确定与不完整数据的数据类型相同的其他完整基础数据;
[0098] A2、根据欧氏距离和马氏距离确定其他完整基础数据中距离不完整数据中缺失值最近的K个值;
[0099] A3、确定将K个值的加权平均值,进而对不完整数据进行补全处理。
[0100] 对错误数据进行数据清洗的方法具体为:
[0101] 对错误数据进行标准化处理,判断标注化处理后的数据是否大于设定阈值,若是,则其为错误数据,将其加入到异常池,否则,为正确数据;
[0102] 对于加入到异常池中的数据,通过人工稽查的方式再次核查其是否为错误数据,若是,则将其保留在异常池中,否则将其从异常池中释放作为正确数据;
[0103] 其中,标准化处理的公式为:
[0104]
[0105] 式中, 为标准化处理后的数据, 为错误数据, 为均值, 为方差;
[0106] 对于标准化处理后的数据 大于等于设定阈值 时,将其作为错误数据。
[0107] 对重复数据进行数据清洗的方法具体为:
[0108] 对于同一基础数据来源、同一时间段内采集的相同基础数据,去除其重复数据,保留唯一基础数据。
[0109] 本发明实施例的步骤S1中,对数据清洗后的基础数据进行数据转换包括:
[0110] (1)将综窗系统的项目数据中的项目清单和项目详细信息采用结构化查询语言的方式进行查询关联处理,并得到对应的结果表;
[0111] (2)将效能监督管理系统中的项目数据中的项目表和项目详细表中的数据采用结构化查询语言的方式进行查询关联处理,并得到对应的结果表;
[0112] (3)将水电气信报装系统、中介超市、以及综合受办平台的机构数据进行字段删减及粒度转换,获得将详细信息转换为以地区为维度的机构汇总数据;
[0113] (4)将水电气信报装系统、中介超市、以及综合受办平台中的办件数据进行字段删减,并将删减后的办件数据整合在一起,获得办件汇总数据。
[0114] 在本实施例的步骤S1中,通过日志采集模块对数据加工处理进行全过程监控并输出对应的记录日志,记录日志记录的信息包括每一个执行动作信息、执行时间以及执行结果,并在执行失败时,反馈记录的错误信息,所述错误信息包括执行动作的具体步骤以及结构化查询语句的具体位置;
[0115] 所述记录日志包括执行过程日志、错误日志以及总体日志。
[0116] 具体地,本实施例中的日志采集过程贯穿于整个数据加工层,从数据采集到最终数据的装载,对每一个执行过程进行监控,无论执行过程是否成功,都要输出日志,记录每一个执行过程的信息,执行时间,执行结果等,如果执行失败,记录详细的错误信息,需要细致到某一个执行过程的具体哪一个步骤,哪一句结构化查询语句。当执行失败时,通过错误日志能够快速找到出错原因,便于问题的解决。日志分为三类,第一类是执行过程日志,对执行过程中的每一个步骤进行记录;第二类是错误日志,当某个模块产生错误的时候写入错误日志,记录出错的时间、模块和出错信息等。第三类是总体日志,可提供多级别的日志记录功能,便于调试和运维系统。
[0117] 本发明实施例的步骤S2中,获取项目分布分析结果及办理过程分析结果的数据分析处理方法具体为:
[0118] B1、对工程建设项目分析数据库中存储的数据进行多标签分类;
[0119] 其中,获取项目分布分析结果对应的标签包括项目类型、项目完成阶段以及项目所在地区;获取办理过程分析结果对应的标签包括项目审批状态、项目审批类型、项目建设办件类型、项目建设办件状态;
[0120] B2、构建分类结果与分析目标之间的关联映射表;
[0121] 其中,所述分析目标包括项目分布分析以及办理过程分析;
[0122] B3、确定分析目标,并根据关联映射表选择对应的标签数据;
[0123] B4、将标签数据输入到关联分析模型中,并对输出结果进行统计分析,获取基于标签数据的分析结果;
[0124] 其中,分析结果包括项目分布分析结果以及办理过程分析结果,所述项目分布分析结果包括地区项目分布、阶段项目分布、项目趋势分布以及项目类型分布;所述办理过程分析结果包括审批用时分析、办件趋势分布、以及逾期办件分布。
[0125] 在本发明实施例中,基于上述分析方法,基于业务要求,对项目运行情况进行分析,主要考虑项目数量和项目金额两大指标,从不同的维度分析项目的分布及项目的分布趋势。对项目审批过程进行分析,分析项目办件趋势,对审批时间进行分析,进而进行效能分析,得出异常办件信息,对超期办件进行预警通知,为领导决策、政府管理、社会服务提供支撑。对辅线系统运行情况进行分析,针对水电气信报装和中介超市的机构入住情况进行统计分析,了解各个市州的机构入驻情况,并针对办件情况进行分析,了解辅线模块的办件趋势。
[0126] 在本发明实施例中步骤B4中,关联分析模型的表达式为:
[0127]
[0128] 式中, 为关联模型输出的关联值, 为关联度权重系数, 为绝对关联度,为相对关联度;
[0129] 其中, , 为与绝对关联度相关的因变量统计值, 为与绝对关联度相关的相关因素统计值; ,
, 为因变量
数据, 为相关因素序列;
[0130] , 为与相对关联度相关的因变量统计值, 为与相对关联度相关的相关因素统计值; ,

[0131] 在本发明实施例的步骤S2中,获取预警监测分析结果的数据分析处理方法具体为:
[0132] C1、设置工程建设项目的逾期监测类型及其对应的各阶段监测数据对应的时间阈值;
[0133] C2、实时调取工程建设项目分析数据库中与项目完成阶段、项目审批状态、项目建设办件状态相关的阶段数据及实际时间数据;
[0134] C3、根据阶段数据调用对应的时间阈值,并将其与实际时间数据进行对比,确定是否发生逾期事件;
[0135] 若是,则进入步骤C4;
[0136] 若否,则进入步骤C5;
[0137] C4、向对应的基础数据上传系统发送逾期通知;
[0138] C5、确定当前阶段的实际时间数据距离下一阶段设定的时间阈值之间的差值,当差值小于设定阈值时,向对应的基础数据上传系统发送逾期预警通知。
[0139] 在本发明实施例中,基于上述监测预警方法,对于统计汇总的数据,按照不同的维度,常用的维度为时间、地区、阶段等来统计各个维度的工程建设项目数量;另外有一部分数据需要根据现有的指标进行计算之后得出结果,比如项目的逾期率、办件的办结率和超期天数等,将计算结果存储到分析数据库,以供分析使用。
[0140] 在本发明的描述中,需要理解的是,术语“中心”、“厚度”、“上”、“下”、“水平”、“顶”、“底”、“内”、“外”、“径向”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的设备或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。此外,术语“第一”、“第二”、“第三”仅用于描述目的,而不能理解为指示或暗示相对重要性或隐含指明的技术特征的数量。因此,限定由“第一”、“第二”、“第三”的特征可以明示或隐含地包括一个或者更多个该特征。