本发明公开了一种电网量测数据动态归集方法、系统及存储介质，方法包括：事件特征预定义，以便识别特定事件，其中事件特征至少包括设备运行状态、电能表标识，其中特定事件至少包括正常请求、异常请求、慢响应；流式识别驱动的事件判定；基于事件判定结果，完成一定时间周期内数据冻结、数据接入、监测；通过一致性模型及唯一标识机制对各类型数据进行对齐和汇总。本发明能够解决对电网大批量量测数据的动态接入、实时同步、常态化监测的问题。
1.一种电网量测数据动态归集方法，其特征在于：包括以下步骤：步骤1：事件特征预定义；事件特征用于识别特定事件，同时通过正则表达式和字符串匹配制定事件匹配规则；
步骤2：流式识别驱动的事件判定；根据事件匹配规则、缓存机制和流计算模型，及时发现包含事件特征的数据流，给出相应的事件判定结果；
步骤3：相关操作；根据步骤2给出的事件判定结果，对数据进行相关操作，包括：数据冻结、数据接入和监测；
步骤4：数据对齐及汇总；对于接入的数据，通过一致性模型和唯一标识机制进行验证、对齐、汇总和同步；并通过一致性模型和唯一标识机制对数据进行常态化监测，确保数据的有效性和完整性；
步骤1所述的事件特征预定义，包括特定事件特征预定义和事件匹配规则制定，具体为：特定事件意为数据接入过程中可能发生的事件，事件特征用于识别特定事件；根据智能电网数据共享的需求以及用电采集系统的运行模型，特定事件定义使用唯一标识符标识，至少包括正常请求、异常请求、慢响应，事件特征至少包括设备运行状态、电能表标识；
事件匹配规则采用正则表达式和字符串匹配；根据定义好的特定事件和事件特征，制定事件匹配规则，其中正常请求标识0，异常请求标识1，慢响应标识2；
采用事件匹配规则、缓存机制和流计算模型对数据不间断进行特定事件判定，采用事件识别算法，给出事件判定结果，事件判定结果使用唯一标识符标识，用于决定对数据的后续操作；
所述事件识别算法，输入为数据流，输出为存放事件判定结果Set和数据相关标识符；
所述事件识别算法以匹配数据流信息与事件特征定义，匹配成功则给出事件判定结果，匹配失败则加入错误列表；
所述缓存机制，基于多线程的多节点缓存和高效获取机制，采用OpenTracing机制，并采用Hash B结果来存储缓存；
步骤3所述的相关操作，包括数据冻结、数据接入和监测，具体为：数据冻结适用于用电采集系统每15分钟冻结数据规则；数据接入适用于满足接入条件的数据，采用B Tree索引算法高速接入数据；监测表示通过一致性模型和唯一标识机制对所有进行识别的数据进行常态化监测，确保其完整并有效；
步骤4所述的数据对齐及汇总，包括：数据汇总、归并和同步，具体为：对于步骤3中进行数据接入操作的数据，通过一致性模型和唯一标识机制，对数据进行汇总、归并，其中汇总适用于所有数据，归并适用于同源同构数据，通过广播方式对数据情况进行同步；
所述的数据汇总，包括对事件判定结果的汇总和对同源同构数据的对齐和汇总；
所述的数据同步，通过广播方式，更新数据标识符，使得同步接收到常态化监测的结果。
2.一种电网量测数据动态归集系统，所述归集系统用于实现权利要求1所述的一种电网量测数据动态归集方法，其特征在于：包括：特征预定义单元、事件判定单元、操作单元；
特征预定义单元用于定义特定事件的事件特征，事件特征至少包括设备运行状态、电能表标识，并通过正则表达式和字符串匹配自动生成事件匹配规则；
事件判定单元用于识别事件，应用事件匹配规则和流计算模型实现事件识别算法，通过缓存机制存储并输出事件判定结果，事件匹配过程中标识符为0的事件为正常请求事件，直接给出事件判定结果，标识符为1或2的事件为异常情况，需要加入缓存队列，广播并进行
操作单元用于完成数据的动态接入、实时同步和常态化监测。
3.一种计算机可读存储介质，其特征在于：所述的计算机可读存储介质上存储有计算机程序，所述的计算机程序被处理器运行时执行权利要求1所述方法的步骤。
一种电网量测数据动态归集方法、系统及存储介质
技术领域
[0001] 本发明涉及电网数据处理技术领域，尤其涉及一种电网量测数据动态归集方法、系统及存储介质。
背景技术
[0002] 随着电网技术的不断发展，国内电网结构不断趋于复杂化、多样化。同时，伴随着互联网技术的飞速普及，国内电网更加趋于智能化，各项数据更加趋于自动化。智能电网产生的数据激增，为充分发挥数据的优势，智能电网数据共享势如破竹。
[0003] 智能电网数据共享的第一步是量测数据的接入。目前对于用电采集系统的数据在接入过程中存在如下问题：（1）量测数据异源异构严重，造成数据接入及监测难度加大；（2）缺少支持大批量数据下以定制事件形式的数据归集，支撑标准统一的数据归集，同时保证归集结果实时同步，以保证数据价值的最大化。
[0004] 可见，一种对电网大批量量测数据的动态接入、实时同步、常态化监测的数据归集方法尤为重要。
发明内容
[0005] 本发明所要解决的技术问题在于，提供一种流式识别驱动的电网量测数据动态归集方法、系统及存储介质，以定制事件形式，完成对异源异构的电网量测数据的动态接入、实时同步和常态化监测。
[0006] 为解决上述技术问题，本发明第一方面提供了一种流式识别驱动的电网量测数据动态归集方法，所述方法包括以下步骤：
[0007] 步骤1：事件特征预定义。针对特定事件设定事件特征，并通过正则表达式和字符串匹配制定相应的事件匹配规则。
[0008] 步骤2：流式识别驱动的事件判定。根据事件匹配规则、缓存机制和流计算模型，高效识别包含事件特征的数据流，给出相应的事件判定结果。
[0009] 步骤3：相关操作。根据步骤2给出的事件判定结果，对数据进行相关操作，包括：数据冻结、数据接入和监测。
[0010] 步骤4：数据对齐及汇总。对于接入的数据，通过一致性模型和唯一标识机制进行验证、对齐、汇总和同步；并通过一致性模型和唯一标识机制对数据进行常态化监测，确保数据的有效性和完整性。
[0011] 进一步地，步骤1所述的事件特征预定义，包括特定事件特征预定义和事件匹配规则制定，具体为：
[0012] 特定事件意为数据接入过程中可能发生的事件，事件特征用于识别特定事件。根据智能电网数据共享的需求以及用电采集系统的运行模型，特定事件定义使用唯一标识符标识，至少包括正常请求、异常请求、慢响应，事件特征至少包括设备运行状态、电能表标识。
[0013] 事件匹配规则采用正则表达式和字符串匹配。根据定义好的特定事件和事件特征，制定事件匹配规则，其中正常请求标识0，异常请求标识1，慢响应标识2。
[0014] 进一步地，步骤2所述的流式识别驱动的事件判定，具体为：
[0015] 采用事件匹配规则、缓存机制和流计算模型对数据不间断进行特定事件判定，采用事件识别算法，高效给出事件判定结果，事件判定结果使用唯一标识符标识，用于决定对数据的后续操作。
[0016] 所述事件识别算法，输入为数据流，输出为存放事件判定结果Set和数据相关标识符。所述事件识别算法以匹配数据流信息与事件特征定义，匹配成功则给出事件判定结果，匹配失败则加入错误列表。
[0017] 所述缓存机制是基于多线程的多节点缓存和高效获取机制，采用OpenTracing机制，并采用Hash B结果来存储缓存。
[0018] 进一步地，步骤3所述的相关操作，包括数据冻结、数据接入和监测，具体为：
[0019] 数据冻结适用于用电采集系统每15分钟冻结数据规则，并采用步骤2所述缓存机制结构进行缓存。
[0020] 数据接入适用于满足接入条件的数据，采用B Tree索引算法高速接入数据。
[0021] 监测表示通过一致性模型和唯一标识机制对所有进行识别的数据进行常态化监测，确保其完整并有效。
[0022] 进一步地，步骤4所述的数据对齐及汇总，包括：数据汇总、归并和同步，具体为：
[0023] 对于步骤3进行数据接入操作的数据，通过一致性模型和唯一标识机制，对数据进行汇总、归并，其中汇总适用于所有数据，归并适用于同源同构数据，通过广播方式对数据情况进行同步。
[0024] 所述的数据汇总，包括对Set的汇总和对同源同构数据的对齐和汇总。
[0025] 所述的数据同步，通过广播方式，更新数据标识符，使得同步接收到常态化监测的结果。
[0026] 本发明第二方面提供了一种流式识别驱动的电网量测数据动态归集系统，所述系统包括：
[0027] 特征预定义单元，用于定义特定事件的事件特征，事件特征至少包括设备运行状态、电能表标识，并通过正则表达式和字符串匹配自动生成事件匹配规则。
[0028] 事件判定单元，用于识别事件。应用事件匹配规则和流计算模型实现事件识别算法，通过缓存机制高效存储并输出事件判定结果，事件匹配过程中标识符为0的事件为正常请求事件，直接给出事件判定结果，标识符为1或2的事件为异常情况，需要加入缓存队列，广播并进行2次判定。
[0029] 操作单元，用于完成数据的动态接入、实时同步和常态化监测。
[0030] 本发明第三方面提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，所述的计算机程序被处理器运行时执行第一方面的流式识别驱动的电网量测数据动态归集方法的步骤。
[0031] 与现有技术相比，本发明具有以下有益效果：
[0032] 本发明的一种流式识别驱动的电网量测数据动态归集方法、系统及存储介质，以事件定制形式，解决异源异构严重的、大批量的电网量测数据的动态接入、实时同步、常态化监测问题。方法包括步骤：事件特征预定义、流式识别驱动的事件判定、相关操作和数据对齐及汇总，通过以上步骤保证数据接入的高效实时安全。系统包括：特征预定义单元、事件判定单元、操作单元，实现电网量测数据接入智能化，避免数据杂乱、共享难等问题，将数据价值发挥最大。
附图说明
[0033] 图1为一种流式识别驱动的电网量测数据动态归集方法步骤示意图；
[0034] 图2为事件识别算法流程图；
[0035] 图3为数据缓存机制示意图；
[0036] 图4为数据对齐及汇总步骤示意图；
[0037] 图5为一种流式识别驱动的电网量测数据动态归集系统组成图。
具体实施方式
[0038] 为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步的详细说明。此处所描述的具体实施例仅用于解释本发明技术方案，并不限于本发明。
[0039] 本发明实施例拟通过普通用电采集系统数据流作为数据接入目标，详细阐述本发明。
[0040] 本发明实施例第一方面提供了一种流式识别驱动的电网量测数据动态归集方法，如图1所示，包括以下步骤：
[0041] 步骤1：事件特征预定义。针对特定事件设定事件特征，并通过正则表达式和字符串匹配制定相应的事件匹配规则。
[0042] 步骤2：流式识别驱动的事件判定。根据事件匹配规则、缓存机制和流计算模型，高效识别包含事件特征的数据流，给出相应的事件判定结果。
[0043] 步骤3：相关操作。根据步骤2给出的事件判定结果，对数据进行相关操作，包括：数据冻结、数据接入和监测。
[0044] 步骤4：数据对齐及汇总。对于接入的数据，通过一致性模型和唯一标识机制进行验证、对齐、汇总和同步；并通过一致性模型和唯一标识机制对数据进行常态化监测，确保数据的有效性和完整性。
[0045] 步骤1所述的事件特征预定义。根据智能电网数据共享的需求以及用电采集系统的运行模型，特定事件定义使用唯一标识符标识，至少包括正常请求、异常请求、慢响应，事件特征至少包括设备运行状态、电能表标识。本实施例中，正常请求指有效数据请求接入，异常请求指数据中包含错误信息或者数据流无具体信息，慢响应指请求时间过长导致请求超时。
[0046] 事件匹配规则采用正则表达式和字符串匹配。根据定义好的特定事件和事件特征，制定事件匹配规则，其中正常请求标识0，异常请求标识1，慢响应标识2。字符串匹配使用简单匹配规则，本实施例中，如Code=400等。正则表达式则用于检查数据流是否包含某种语法规则，本实施例中，正则表达式如 。
[0047] 步骤2所述的流式识别驱动的事件判定。采用事件匹配规则、缓存机制和流计算模型对数据不间断进行特定事件判定，采用事件识别算法，高效给出事件判定结果，事件判定结果使用唯一标识符标识，用于决定对数据的后续操作。如图2所示，所述事件识别算法，输入为数据流，输出为存放事件判定结果Set和数据相关标识符。所述事件识别算法以匹配数据流信息与事件特征定义，匹配成功则给出事件判定结果，匹配失败则加入错误列表。数据流通过事件识别算法，输出为Set和数据相关标识符0，其中Set包含数据流中数据和数据特征数据接入。0标识正常响应，支持数据进行下一步相关操作，则采用OpenTracing机制，并采用Hash B结果来存储Set集合，索引为数据接入特征。
[0048] 如图3所示，所述缓存机制是基于多线程的多节点缓存和高效获取机制，采用OpenTracing机制，并采用Hash B结果来存储缓存。
[0049] 步骤3所述的相关操作。本实施例中，根据Hash B索引为数据接入特征，故选择进行数据接入操作。采用B Tree索引算法高速接入数据，并在接入过程中通过广播方式更新数据信息至缓存机制中。
[0050] 如图4所示，步骤4所述的数据对齐及汇总，对于步骤3进行数据接入操作的数据，通过一致性模型和唯一标识机制，对数据进行汇总、归并，其中汇总适用于所有数据，归并适用于同源同构数据，通过广播方式对数据情况进行同步。数据汇总，包括对Set的汇总和对同源同构数据的对齐和汇总。数据同步，通过广播方式，更新数据标识符，使得同步接收到常态化监测的结果。本实施例中，同一批次数据流信息接入完成后，通过一致性模型和唯一标识机制，对标识为Code的数据流进行对齐和汇总，并通过广播方式将Set中信息公开，方便查验数据的有效性和完整性。
[0051] 至此，完成一种流式识别驱动的电网量测数据动态归集方法的步骤，以定义事件形式寻找符合预设标准、以不间断的事件识别支持动态、以常态化监测支持数据完整有效、以数据汇总对齐完成异源异构数据归集。
[0052] 本实施例中，仍沿用上述数据流，以各单元视角，详细讲述一种流式识别驱动的电网量测数据动态归集系统具体实施方式。
[0053] 本发明实施例第二方面提供了一种流式识别驱动的电网量测数据动态归集系统，如图5所示，包括：
[0054] 特征预定义单元，完成一种流式识别驱动的电网量测数据动态归集方法中步骤1，用于定义特定事件的事件特征，事件特征至少包括设备运行状态、电能表标识，系统自动生成事件匹配规则，如Code=400、 。
[0055] 事件判定单元，完成一种流式识别驱动的电网量测数据动态归集方法中步骤2，用于识别事件。应用事件匹配规则和流计算模型实现事件识别算法，输出Set和数据流标识符0，结果通过系统界面显示给用户。
[0056] 操作单元，完成一种流式识别驱动的电网量测数据动态归集方法中步骤3至4，用于完成数据的动态接入、实时同步和常态化监测。接收到数据流标识符为0的数据，根据Hash B索引为数据接入特征，系统自动进行数据接入操作。采用B Tree索引算法高速接入数据，并在接入过程中通过广播方式更新数据信息至缓存机制中。
[0057] 本发明实施例第三方面提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，所述的计算机程序被处理器运行时执行一种流式识别驱动的电网量测数据动态归集方法的步骤。
[0058] 最后所应说明的是，以上具体实施方式仅用以说明本发明的技术方案而非限制，尽管参照实例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围中。
