数据异常报警方法、装置、电子设备和计算机可读介质转让专利
申请号 : CN202111323641.7
文献号 : CN113760882B
文献日 : 2022-01-28
发明人 : 黄颖
申请人 : 北京每日菜场科技有限公司
摘要 :
权利要求 :
1.一种数据异常报警方法,包括:获取物品信息表集合,其中,所述获取物品信息表集合,包括:基于预先存储的原始物品信息表集合中的每个原始物品信息表,生成物品信息虚拟表,得到物品信息虚拟表集合,其中,所述物品信息虚拟表包括所述原始物品信息表的元数据信息;
获取所述物品信息虚拟表集合中的每个物品信息虚拟表的表状态信息;
将所述物品信息虚拟表集合中对应的表状态信息表征已上线状态的物品信息虚拟表对应的原始物品信息表作为物品信息表,得到物品信息表集合;
响应于所述物品信息表集合中存在满足数据完整性异常条件的物品信息表,根据所述物品信息表集合中满足所述数据完整性异常条件的物品信息表,生成数据完整性异常表,其中,所述生成数据完整性异常表,包括:响应于所述物品信息表集合中存在表字段值满足第一数据完整性异常条件的物品信息表,根据满足所述第一数据完整性异常条件的物品信息表,生成第一数据完整性异常表,其中,所述第一数据完整性异常条件为表字段值表征空值;
获取所述物品信息表集合中各个物品信息表对应的表字段数;
响应于所述物品信息表集合中存在对应的表字段数满足第二数据完整性异常条件的物品信息表,根据满足所述第二数据完整性异常条件的物品信息表,生成第二数据完整性异常表,其中,所述第二数据完整性异常条件为表字段数与物品信息表对应的物品信息虚拟表所包括的表字段名的数量不同;
获取所述物品信息表集合中每个物品信息表对应的杂项维值集合;
响应于所述物品信息表集合中存在对应的去重后的杂项维值集合满足第三数据完整性异常条件的物品信息表,根据满足所述第三数据完整性异常条件的物品信息表,生成第三数据完整性异常表,其中,所述第三数据完整性异常条件为物品信息表对应的物品信息虚拟表所包括的杂项维值中不存在去重后的杂项维值集合所包括的杂项维值;
响应于所述物品信息表集合中存在满足数据一致性异常条件的物品信息表,根据所述物品信息表集合中满足所述数据一致性异常条件的物品信息表,生成数据一致性异常表;
响应于所述物品信息表集合中存在满足率值异常条件的物品信息表,根据所述物品信息表集合中满足所述率值异常条件的物品信息表,生成率值异常表;
分别根据所述数据完整性异常表、所述数据一致性异常表和所述率值异常表,生成完整性异常报警信息、一致性异常报警信息和率值异常报警信息;
将所述完整性异常报警信息、所述一致性异常报警信息和所述率值异常报警信息发送至相关联的用户终端,使得所述用户终端展示所述完整性异常报警信息、所述一致性异常报警信息和所述率值异常报警信息。
2.根据权利要求1所述的方法,其中,所述物品信息表集合所包括的物品信息表为包含白名单字段的物品信息表;以及
所述生成数据完整性异常表,包括:将所述物品信息表集合中每个物品信息表包括的白名单字段从所述物品信息表中删除,以及将删除处理后的物品信息表确定为目标物品信息表,得到目标物品信息表集合;
响应于所述目标物品信息表集合中存在满足所述数据完整性异常条件的目标物品信息表,根据所述目标物品信息表集合中满足所述数据完整性异常条件的目标物品信息表,生成数据完整性异常表。
3.根据权利要求1所述的方法,其中,在所述生成数据一致性异常表之前,所述方法还包括:
确定所述物品信息表集合中的每个物品信息表包括的每个表字段的数据类型集合;
响应于所述物品信息表集合中存在表字段的数据类型集合满足预设相异条件的物品信息表,根据表字段的数据类型集合满足预设相异条件的物品信息表,生成属性一致性异常表,其中,所述预设相异条件为数据类型与所述数据类型集合中的任意数据类型相异;
根据所述属性一致性异常表,生成属性一致性异常报警信息;
将所述属性一致性异常报警信息发送至所述用户终端,使得所述用户终端展示所述属性一致性异常报警信息。
4.根据权利要求1所述的方法,其中,所述生成数据一致性异常表,包括:响应于所述物品信息表集合中存在包括的表字段的数据类型满足第一数据一致性异常条件的物品信息表,根据满足所述第一数据一致性异常条件的物品信息表,生成第一数据一致性异常表,其中,所述第一数据一致性异常条件为表字段的数据类型与物品信息表对应的物品信息虚拟表所包括的目标表字段的数据类型不同;
响应于所述物品信息表集合中存在满足先决条件的物品信息表,将所述物品信息表集合中满足所述先决条件的物品信息表确定为第一物品信息表,得到第一物品信息表集合;
将所述第一物品信息表集合中满足预设指标字段条件的各个第一物品信息表确定为第二物品信息表组,得到第二物品信息表组集,其中,所述预设指标字段条件为各个第一物品信息表中存在相同的指标字段;
对于所述第二物品信息表组集中的每个第二物品信息表组,确定所述第二物品信息表组中每个第二物品信息表包括的对应所述第二物品信息表组的指标字段所对应的聚合值,得到聚合值组;
将所得到的聚合值组中满足第二数据一致性异常条件的聚合值组确定为异常聚合值组,得到异常聚合值组集,其中,所述第二数据一致性异常条件为聚合值与所述聚合值组中的任意聚合值相异;
根据所述异常聚合值组集对应的各个第二物品信息表组,生成第二数据一致性异常表;
响应于所述物品信息表集合中存在元组满足第三数据一致性异常条件的物品信息表,根据满足所述第三数据一致性异常条件的物品信息表,生成第三数据一致性异常表,其中,所述第三数据一致性异常条件为物品信息表中存在相同的元组。
5.根据权利要求1所述的方法,其中,所述生成完整性异常报警信息、一致性异常报警信息和率值异常报警信息,包括:
根据所述数据完整性异常表,生成数据完整性异常表格图像和数据完整性异常消息提醒数;
对所述数据完整性异常表格图像、所述数据完整性异常消息提醒数和与所述数据完整性异常表相关联的负责人信息进行组合,得到所述完整性异常报警信息;
根据所述数据一致性异常表,生成数据一致性异常表格图像和数据一致性异常消息提醒数;
对所述数据一致性异常表格图像、所述数据一致性异常消息提醒数和与所述数据一致性异常表相关联的负责人信息进行组合,得到所述一致性异常报警信息;
根据所述率值异常表,生成率值异常表格图像和率值异常消息提醒数;
对所述率值异常表格图像、所述率值异常消息提醒数和与所述率值异常表相关联的负责人信息进行组合,得到所述率值异常报警信息。
6.一种数据异常报警装置,包括:获取单元,被配置成获取物品信息表集合,其中,所述获取物品信息表集合,包括:基于预先存储的原始物品信息表集合中的每个原始物品信息表,生成物品信息虚拟表,得到物品信息虚拟表集合,其中,所述物品信息虚拟表包括所述原始物品信息表的元数据信息;
获取所述物品信息虚拟表集合中的每个物品信息虚拟表的表状态信息;
将所述物品信息虚拟表集合中对应的表状态信息表征已上线状态的物品信息虚拟表对应的原始物品信息表作为物品信息表,得到物品信息表集合;
第一生成单元,被配置成响应于所述物品信息表集合中存在满足数据完整性异常条件的物品信息表,根据所述物品信息表集合中满足所述数据完整性异常条件的物品信息表,生成数据完整性异常表,其中,所述生成数据完整性异常表,包括:响应于所述物品信息表集合中存在表字段值满足第一数据完整性异常条件的物品信息表,根据满足所述第一数据完整性异常条件的物品信息表,生成第一数据完整性异常表,其中,所述第一数据完整性异常条件为表字段值表征空值;
获取所述物品信息表集合中各个物品信息表对应的表字段数;
响应于所述物品信息表集合中存在对应的表字段数满足第二数据完整性异常条件的物品信息表,根据满足所述第二数据完整性异常条件的物品信息表,生成第二数据完整性异常表,其中,所述第二数据完整性异常条件为表字段数与物品信息表对应的物品信息虚拟表所包括的表字段名的数量不同;
获取所述物品信息表集合中每个物品信息表对应的杂项维值集合;
响应于所述物品信息表集合中存在对应的去重后的杂项维值集合满足第三数据完整性异常条件的物品信息表,根据满足所述第三数据完整性异常条件的物品信息表,生成第三数据完整性异常表,其中,所述第三数据完整性异常条件为物品信息表对应的物品信息虚拟表所包括的杂项维值中不存在去重后的杂项维值集合所包括的杂项维值;
第二生成单元,被配置成响应于所述物品信息表集合中存在满足数据一致性异常条件的物品信息表,根据所述物品信息表集合中满足所述数据一致性异常条件的物品信息表,生成数据一致性异常表;
第三生成单元,被配置成响应于所述物品信息表集合中存在满足率值异常条件的物品信息表,根据所述物品信息表集合中满足所述率值异常条件的物品信息表,生成率值异常表;
第四生成单元,被配置成分别根据所述数据完整性异常表、所述数据一致性异常表和所述率值异常表,生成完整性异常报警信息、一致性异常报警信息和率值异常报警信息;
发送单元,被配置成将所述完整性异常报警信息、所述一致性异常报警信息和所述率值异常报警信息发送至相关联的用户终端,使得所述用户终端展示所述完整性异常报警信息、所述一致性异常报警信息和所述率值异常报警信息。
7.一种电子设备,包括:
一个或多个处理器;
存储装置,其上存储有一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1‑5中任一所述的方法。
8.一种计算机可读介质,其上存储有计算机程序,其中,所述程序被处理器执行时实现如权利要求1‑5中任一所述的方法。
说明书 :
数据异常报警方法、装置、电子设备和计算机可读介质
技术领域
背景技术
括的物品信息表集合中。为了及时发现异常,需要对数据仓库所包括的物品信息表集合进
行监控。现有技术未有对数据仓库所包括的物品信息表集合的多方位监控。
发明内容
要特征,也不旨在用于限制所要求的保护的技术方案的范围。
根据物品信息表集合中满足数据完整性异常条件的物品信息表,生成数据完整性异常表;
响应于物品信息表集合中存在满足数据一致性异常条件的物品信息表,根据物品信息表集
合中满足数据一致性异常条件的物品信息表,生成数据一致性异常表;响应于物品信息表
集合中存在满足率值异常条件的物品信息表,根据物品信息表集合中满足率值异常条件的
物品信息表,生成率值异常表;分别根据数据完整性异常表、数据一致性异常表和率值异常
表,生成完整性异常报警信息、一致性异常报警信息和率值异常报警信息;将完整性异常报
警信息、一致性异常报警信息和率值异常报警信息发送至相关联的用户终端,使得用户终
端展示完整性异常报警信息、一致性异常报警信息和率值异常报警信息。
满足数据完整性异常条件的物品信息表,根据物品信息表集合中满足数据完整性异常条件
的物品信息表,生成数据完整性异常表;第二生成单元,被配置成响应于物品信息表集合中
存在满足数据一致性异常条件的物品信息表,根据物品信息表集合中满足数据一致性异常
条件的物品信息表,生成数据一致性异常表;第三生成单元,被配置成响应于物品信息表集
合中存在满足率值异常条件的物品信息表,根据物品信息表集合中满足率值异常条件的物
品信息表,生成率值异常表;第四生成单元,被配置成分别根据数据完整性异常表、数据一
致性异常表和率值异常表,生成完整性异常报警信息、一致性异常报警信息和率值异常报
警信息;发送单元,被配置成将完整性异常报警信息、一致性异常报警信息和率值异常报警
信息发送至相关联的用户终端,使得用户终端展示完整性异常报警信息、一致性异常报警
信息和率值异常报警信息。
一个或多个处理器实现上述第一方面任一实现方式所描述的方法。
性。具体来说,造成无法提升物品信息表集合中数据的完整性、一致性和准确性,从而无法
提升数据的可靠性的原因在于:无法实现对物品信息表集合的多方位监控。基于此,本公开
的一些实施例的数据异常报警方法,首先,获取物品信息表集合。然后,响应于物品信息表
集合中存在满足数据完整性异常条件的物品信息表,根据物品信息表集合中满足数据完整
性异常条件的物品信息表,生成数据完整性异常表。由此,得到的数据完整性异常表中记录
了物品信息表集合中满足数据完整性异常条件的物品信息表的相关信息。其次,响应于物
品信息表集合中存在满足数据一致性异常条件的物品信息表,根据物品信息表集合中满足
数据一致性异常条件的物品信息表,生成数据一致性异常表。由此,得到的数据一致性异常
表中记录了物品信息表集合中满足数据一致性异常条件的物品信息表的相关信息。然后,
响应于物品信息表集合中存在满足率值异常条件的物品信息表,根据物品信息表集合中满
足率值异常条件的物品信息表,生成率值异常表。由此,得到的率值异常表中记录了物品信
息表集合中满足率值异常条件的物品信息表的相关信息。然后,分别根据数据完整性异常
表、数据一致性异常表和率值异常表,生成完整性异常报警信息、一致性异常报警信息和率
值异常报警信息。由此,可以得到完整性异常报警信息、一致性异常报警信息和率值异常报
警信息,以便于提示相关工作人员物品信息表存在异常数据。最后,将完整性异常报警信
息、一致性异常报警信息和率值异常报警信息发送至相关联的用户终端,使得用户终端展
示完整性异常报警信息、一致性异常报警信息和率值异常报警信息。由此,可以通知相关工
作人员上述完整性异常报警信息、上述一致性异常报警信息和上述率值异常报警信息。也
因为用户终端对完整性异常报警信息、一致性异常报警信息和率值异常报警信息进行了展
示,从而相关工作人员可以获知需要进行修改的物品信息表,进而可以对进行修改的物品
信息表中存在完整性异常、一致性异常或率值异常的数据进行修改。由此提升了物品信息
表中数据的完整性、一致性和准确性,从而提升了数据的可靠性。
附图说明
解附图是示意性的,元件和元素不一定按照比例绘制。
具体实施方式
里阐述的实施例。相反,提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的
是,本公开的附图及实施例仅用于示例性作用,并非用于限制本公开的保护范围。
据物品信息表集合102中满足数据完整性异常条件的物品信息表,生成数据完整性异常表
103。之后,计算设备101可以响应于物品信息表集合102中存在满足数据一致性异常条件的
物品信息表,根据物品信息表集合102中满足数据一致性异常条件的物品信息表,生成数据
一致性异常表104。其次,计算设备101可以响应于物品信息表集合102中存在满足率值异常
条件的物品信息表,根据物品信息表集合102中满足率值异常条件的物品信息表,生成率值
异常表105。然后,计算设备101可以分别根据数据完整性异常表103、数据一致性异常表104
和率值异常表105,生成完整性异常报警信息106、一致性异常报警信息107和率值异常报警
信息108。最后,计算设备101可以将完整性异常报警信息106、一致性异常报警信息107和率
值异常报警信息108发送至相关联的用户终端109,使得用户终端109展示完整性异常报警
信息106、一致性异常报警信息107和率值异常报警信息108。
个终端设备。当计算设备体现为软件时,可以安装在上述所列举的硬件设备中。其可以实现
成例如用来提供分布式服务的多个软件或软件模块,也可以实现成单个软件或软件模块。
在此不做具体限定。
物品信息表可以为包含物品信息的明细表。上述物品信息表可以包括但不限于:表字段名
集合、对应上述表字段名集合中各个表字段名的各个表字段值、杂项维名、对应上述杂项维
名的各个杂项维值。上述表名可以为上述物品信息表的表名。上述表字段名集合可以为上
述物品信息表包括的各个表字段的表字段名的集合。上述杂项维名可以为上述物品信息表
包括的杂项维的名称。上述杂项维可以为上述物品信息表包括的特定的表字段。上述各个
杂项维值可以为上述杂项维名对应的各个表字段值。例如,上述物品信息表可以为物流表、
订单表。上述物流表可以为包含物品物流信息的表。上述物品物流信息可以包括但不限于:
物品标识、物品重量、物品体积、发货地址、收货地址。上述物品标识可以唯一标识物品。上
述订单表可以为包含物品订单信息的表。上述物品订单信息可以包括但不限于:物品标识、
订单编号、物品数量、物品单位价值、订单总价值。上述订单编号可以唯一标识订单。上述物
品单位价值可以为获取单件物品所需支付的价值(例如,单价)。上述订单总价值可以为支
付订单所需的总价值(例如,订单总价)。需要指出的是,上述无线连接方式可以包括但不限
于3G/4G连接、WiFi连接、蓝牙连接、WiMAX连接、Zigbee连接、UWB(ultra wideband)连接、以
及其他现在已知或将来开发的无线连接方式。
虚拟表集合。其中,上述物品信息虚拟表包括上述原始物品信息表的元数据信息。上述元数
据信息可以包括但不限于:表名、各个表字段的字段名和数据类型、表负责人姓名、杂项维
名、杂项维对应的杂项维值。实践中,首先,上述执行主体可以创建物品信息虚拟空表。然
后,可以从预先存储上述原始物品信息表集合的终端提取上述原始物品信息表的元数据信
息,并将上述元数据信息写入上述物品信息虚拟空表,得到物品信息虚拟表。第二步,上述
执行主体可以获取物品信息虚拟表集合中的每个物品信息虚拟表的表状态信息。上述表状
态信息可以为表征上述物品信息虚拟表的表状态的信息。上述表状态可以包括但不限于:
待上线状态、已上线状态、已驳回状态、审批中状态、已下线状态。第三步,上述执行主体可
以将物品信息虚拟表集合中对应的表状态信息表征已上线状态的物品信息虚拟表对应的
原始物品信息表作为物品信息表,得到物品信息表集合。
表,生成数据完整性异常表。其中,上述数据完整性异常条件可以为“物品信息表中的表字
段值为0”。实践中,首先,上述执行主体可以从上述物品信息表集合中选择满足上述数据完
整性异常条件的物品信息表作为完整性备选物品信息表,得到完整性备选物品信息表集
合。然后,可以创建数据完整性异常空表。之后,可以将上述完整性备选物品信息表集合中
各个完整性备选物品信息表的表名、表负责人姓名和表字段值为0的表字段名写入上述数
据完整性异常空表,得到数据完整性异常表。由此,得到的数据完整性异常表中记录了物品
信息表集合中满足数据完整性异常条件的物品信息表的相关信息。
据完整性异常条件的物品信息表,生成第一数据完整性异常表。其中,第一数据完整性异常
条件可以为表字段值表征空值。可以理解为,表字段值为NULL值或空值。实践中,首先,上述
执行主体可以从上述物品信息表集合中选择满足上述第一数据完整性异常条件的物品信
息表作为第一备选物品信息表,得到第一备选物品信息表集合。然后,可以创建第一数据完
整性异常空表。之后,可以将上述第一备选物品信息表集合中各个第一备选物品信息表的
表名、表负责人姓名和表字段值为NULL值或空值的表字段名写入上述第一数据完整性异常
空表,得到第一数据完整性异常表。由此,得到的第一数据完整性异常表记录了存在表字段
值为NULL值或空值的各个物品信息表的相关信息。
Presto引擎获取物品信息表集合中各个物品信息表对应的表字段数。
生成第二数据完整性异常表。其中,第二数据完整性异常条件可以为表字段数与物品信息
表对应的物品信息虚拟表所包括的表字段名的数量不同。实践中,首先,上述执行主体可以
从上述物品信息表集合中选择满足上述第二数据完整性异常条件的物品信息表作为第二
备选物品信息表,得到第二备选物品信息表集合。然后,可以创建第二数据完整性异常空
表。之后,可以将上述第二备选物品信息表集合中各个第二备选物品信息表的表名和表负
责人姓名写入上述第二数据完整性异常空表,得到第二数据完整性异常表。由此,得到的第
二数据完整性异常表记录了表字段名的数量存在异常现象的物品信息表的相关信息。
中,上述执行主体可以利用Presto引擎获取物品信息表集合中每个物品信息表对应的杂项
维值集合。
物品信息表,生成第三数据完整性异常表。其中,第三数据完整性异常条件可以为物品信息
表对应的物品信息虚拟表所包括的杂项维值中不存在去重后的杂项维值集合所包括的杂
项维值。实践中,首先,上述执行主体可以从上述物品信息表集合中选择满足上述第三数据
完整性异常条件的物品信息表作为第三备选物品信息表,得到第三备选物品信息表集合。
然后,可以创建第三数据完整性异常空表。之后,可以将上述第三备选物品信息表集合中各
个第三备选物品信息表的表名、表负责人姓名和杂项维名写入上述第三数据完整性异常空
表,得到第三数据完整性异常表。由此,得到的第三数据完整性异常表记录了杂项维值存在
异常现象的物品信息表的相关信息。
表,生成数据一致性异常表。上述数据一致性异常条件可以为物品信息表中存在相同的元
组。上述元组可以为物品信息表包括的行。实践中,首先,上述执行主体可以从上述物品信
息表集合中选择满足上述数据一致性异常条件的物品信息表作为一致性备选物品信息表,
得到一致性备选物品信息表集合。然后,可以创建数据一致性异常空表。之后,可以将上述
一致性备选物品信息表集合中各个一致性备选物品信息表的表名和表负责人姓名写入上
述数据一致性异常空表,得到数据一致性异常表。由此,得到的数据一致性异常表中记录了
物品信息表集合中满足数据一致性异常条件的物品信息表的相关信息。
根据满足第一数据一致性异常条件的物品信息表,生成第一数据一致性异常表。其中,第一
数据一致性异常条件可以为表字段的数据类型与物品信息表对应的物品信息虚拟表所包
括的目标表字段的数据类型不同。其中,表字段的数据类型可以包括但不限于:int
(integer,整型)、float(浮点型)。上述目标表字段可以为上述物品信息虚拟表中与上述物
品信息表包括的表字段对应的表字段。实践中,首先,上述执行主体可以从上述物品信息表
集合中选择满足上述第一数据一致性异常条件的物品信息表作为第四备选物品信息表,得
到第四备选物品信息表集合。然后,可以创建第一数据一致性异常空表。之后,可以将上述
第四备选物品信息表集合中各个第四备选物品信息表的表名、表负责人姓名和各个第四备
选物品信息表包括的与上述目标表字段对应的表字段的表字段名写入上述第一数据一致
性异常空表,得到第一数据一致性异常表。由此,得到的第一数据一致性异常表记录了字段
的数据类型与物品信息虚拟表所包括的对应的目标表字段的数据类型不同的物品信息表
的相关信息。
物品信息表集合。其中,上述先决条件可以为物品信息表集合中存在同一类型且存储在同
一数据库的至少两个物品信息表。上述类型可以为物品信息表的类型。上述类型可以包括
但不限于离线类型和实时类型。其中,离线类型的物品信息表可以为历史时间段的物品信
息表。实时类型的物品信息表可以为实时更新的物品信息表。由此,可以得到第一物品信息
表集合,使得对于上述第一物品信息表集合中的任意一个第一物品信息表,上述第一物品
信息表集合中均存在与上述任意一个第一物品信息表的类型和对应的数据库相同的第一
物品信息表。
第一物品信息表中存在相同的指标字段且上述各个第一物品信息表通过第一物品信息表
所包括的外键关联。上述指标字段可以为数据类型为int(integer,整型)、bigint或
decimal的字段。由此,得到的第二物品信息表组集包括的每个第二物品信息表组所包括的
各个第二物品信息表含有相同的指标字段。
合值,得到聚合值组。实践中,上述执行主体可以将上述指标字段在每个第二物品信息表中
对应的各个表字段值的和确定为聚合值,得到上述指标字段对应的聚合值组。由此,可以得
到聚合值组,以便对于后续处理提供数据支持。
聚合值与聚合值组中的任意聚合值相异。由此,可以得到表征存在聚合值异常的异常聚合
值组集。
择满足上述第二数据一致性异常条件的物品信息表作为第五备选物品信息表,得到第五备
选物品信息表集合。然后,可以创建第二数据一致性异常空表。之后,可以将上述第五备选
物品信息表集合中各个第五备选物品信息表的表名、表负责人姓名和相异的聚合值对应的
指标字段的表字段名写入上述第二数据一致性异常空表,得到第二数据一致性异常表。由
此,可以得到第二数据一致性异常表,使得所得到的第二数据一致性异常表记录存在聚合
值异常的物品信息表的相关信息。
中,第三数据一致性异常条件为物品信息表中存在相同的元组。实践中,首先,上述执行主
体可以从上述物品信息表集合中选择满足上述第三数据一致性异常条件的物品信息表作
为第六备选物品信息表,得到第六备选物品信息表集合。然后,可以创建第三数据一致性异
常空表。之后,可以将上述第六备选物品信息表集合中各个第六备选物品信息表的表名、表
负责人姓名写入上述第三数据一致性异常空表,得到第三数据一致性异常表。由此,可以得
到第三数据一致性异常表,使得所得到的第三数据一致性异常表记录存在元组异常的物品
信息表的相关信息。
信息表确定为目标物品信息表,得到目标物品信息表集合。其中,上述物品信息表集合所包
括的物品信息表为包含白名单字段的物品信息表。上述白名单字段可以为表征不需要监测
的字段。然后,可以响应于目标物品信息表集合中存在满足上述数据完整性异常条件的目
标物品信息表,根据目标物品信息表集合中满足数据完整性异常条件的目标物品信息表,
生成数据完整性异常表。由此,可以避免对于白名单字段的检测与监控,提高监控效率。
常表。上述率值异常条件可以为物品信息表中存在大于1的率值。上述率值可以为上述物品
信息表中数值类型为百分比的值。实践中,首先,上述执行主体可以从上述物品信息表集合
中选择满足上述率值异常条件的物品信息表作为率值备选物品信息表,得到率值备选物品
信息表集合。然后,可以创建率值异常空表。之后,可以将上述率值备选物品信息表集合中
各个率值备选物品信息表的表名、表负责人姓名和率值大于1的表字段名写入上述率值异
常空表,得到率值异常表。由此,得到的率值异常表中记录了物品信息表集合中满足率值异
常条件的物品信息表的相关信息。
实践中,上述执行主体可以将上述数据完整性异常表保存为数据完整性异常表格图像,并
将上述数据完整性异常表格图像作为完整性异常报警信息。可以将上述数据一致性异常表
保存为数据一致性异常表格图像,并将上述数据一致性异常表格图像作为一致性异常报警
信息。上述执行主体可以将上述率值异常表保存为率值异常表格图像,并将上述率值异常
表格图像作为率值异常报警信息。由此,可以得到完整性异常报警信息、一致性异常报警信
息和率值异常报警信息,以便于提示相关工作人员物品信息表存在异常数据。
上述执行主体可以将上述数据完整性异常表保存为数据完整性异常表格图像。然后,可以
查询上述数据完整性异常表所包括的元组的数量,并将上述数据完整性异常表所包括的元
组的数量作为数据完整性异常消息提醒数。最后,可以对上述数据完整性异常消息提醒数
根据表负责人姓名进行分类处理,得到至少一类数据完整性异常消息提醒数,使得每类数
据完整性异常消息提醒数对应于一个表负责人姓名。由此,可以得到数据完整性异常表格
图像和数据完整性异常消息提醒数,以便对于后续处理提供数据支持。
可以包括上述数据完整性异常表的表负责人姓名和当日值班负责人姓名。实践中,上述执
行主体可以将上述数据完整性异常表格图像、每类数据完整性异常消息提醒数和对应于上
述数据完整性异常消息提醒数的负责人信息进行组合,得到完整性异常报警信息。由此,可
以得到完整性异常报警信息,使得完整性异常报警信息包括的内容更加详细。
性异常表格图像。然后,可以查询上述数据一致性异常表所包括的元组的数量,并将上述数
据一致性异常表所包括的元组的数量作为数据一致性异常消息提醒数。最后,可以对上述
数据一致性异常消息提醒数根据表负责人姓名进行分类处理,得到至少一类数据一致性异
常消息提醒数,使得每类数据一致性异常消息提醒数对应于一个表负责人姓名。由此,可以
得到数据一致性异常表格图像和数据一致性异常消息提醒数,以便对于后续处理提供数据
支持。
包括上述数据一致性异常表的表负责人姓名和当日值班负责人姓名。实践中,上述执行主
体可以将上述数据一致性异常表格图像、每类数据一致性异常消息提醒数和对应于上述数
据一致性异常消息提醒数的负责人信息进行组合,得到一致性异常报警信息。由此,可以得
到一致性异常报警信息,使得一致性异常报警信息包括的内容更加详细。
上述率值异常表所包括的元组的数量,并将上述率值异常表所包括的元组的数量作为率值
异常消息提醒数。最后,可以对上述率值异常消息提醒数根据表负责人姓名进行分类处理,
得到至少一类率值异常消息提醒数,使得每类率值异常消息提醒数对应于一个表负责人姓
名。由此,可以得到率值异常表格图像和率值异常消息提醒数,以便对于后续处理提供数据
支持。
表负责人姓名和当日值班负责人姓名。实践中,上述执行主体可以将上述率值异常表格图
像、每类率值异常消息提醒数和对应于上述率值异常消息提醒数的负责人信息进行组合,
得到率值异常报警信息。由此,可以得到率值异常报警信息,使得率值异常报警信息包括的
内容更加详细。
值异常报警信息。
用户终端展示完整性异常报警信息、一致性异常报警信息和率值异常报警信息。上述相关
联的用户终端可以为可对上述完整性异常报警信息、上述一致性异常报警信息和上述率值
异常报警信息进行展示的用户终端。上述用户终端可以为相关工作人员的智能手机。由此,
可以通知相关工作人员上述完整性异常报警信息、上述一致性异常报警信息和上述率值异
常报警信息。
性。具体来说,造成无法提升物品信息表集合中数据的完整性、一致性和准确性,从而无法
提升数据的可靠性的原因在于:无法实现对物品信息表集合的多方位监控。基于此,本公开
的一些实施例的数据异常报警方法,首先,获取物品信息表集合。然后,响应于物品信息表
集合中存在满足数据完整性异常条件的物品信息表,根据物品信息表集合中满足数据完整
性异常条件的物品信息表,生成数据完整性异常表。由此,得到的数据完整性异常表中记录
了物品信息表集合中满足数据完整性异常条件的物品信息表的相关信息。其次,响应于物
品信息表集合中存在满足数据一致性异常条件的物品信息表,根据物品信息表集合中满足
数据一致性异常条件的物品信息表,生成数据一致性异常表。由此,得到的数据一致性异常
表中记录了物品信息表集合中满足数据一致性异常条件的物品信息表的相关信息。然后,
响应于物品信息表集合中存在满足率值异常条件的物品信息表,根据物品信息表集合中满
足率值异常条件的物品信息表,生成率值异常表。由此,得到的率值异常表中记录了物品信
息表集合中满足率值异常条件的物品信息表的相关信息。然后,分别根据数据完整性异常
表、数据一致性异常表和率值异常表,生成完整性异常报警信息、一致性异常报警信息和率
值异常报警信息。由此,可以得到完整性异常报警信息、一致性异常报警信息和率值异常报
警信息,以便于提示相关工作人员物品信息表存在异常数据。最后,将完整性异常报警信
息、一致性异常报警信息和率值异常报警信息发送至相关联的用户终端,使得用户终端展
示完整性异常报警信息、一致性异常报警信息和率值异常报警信息。由此,可以通知相关工
作人员上述完整性异常报警信息、上述一致性异常报警信息和上述率值异常报警信息。也
因为用户终端对完整性异常报警信息、一致性异常报警信息和率值异常报警信息进行了展
示,从而相关工作人员可以获知需要进行修改的物品信息表,进而可以对进行修改的物品
信息表中存在完整性异常、一致性异常或率值异常的数据进行修改。由此提升了物品信息
表中数据的完整性、一致性和准确性,从而提升了数据的可靠性。
述执行主体可以利用Hive引擎确定物品信息表集合中的每个物品信息表包括的每个表字
段的数据类型,以及利用Click House引擎确定物品信息表集合中的每个物品信息表包括
的每个表字段的数据类型,得到每个表字段的数据类型集合。由此,可以得到每个表字段的
数据类型集合,为后续处理提供数据支持。
一致性异常表。
的物品信息表,生成属性一致性异常表。其中,预设相异条件可以为数据类型与数据类型集
合中的任意数据类型相异。实践中,首先,上述执行主体可以从上述物品信息表集合中选择
满足上述预设相异条件的物品信息表作为第七备选物品信息表,得到第七备选物品信息表
集合。然后,可以创建属性一致性异常空表。之后,可以将上述第七备选物品信息表集合中
各个第七备选物品信息表的表名、表负责人姓名和数据类型相异的表字段名写入上述属性
一致性异常空表,得到属性一致性异常表。由此,得到的属性一致性异常表记录了各个属性
不一致的字段。
表格图像,并将上述属性一致性异常表格图像作为属性一致性异常报警信息。由此,可以得
到属性一致性异常报警信息,以便于提示相关工作人员物品信息表存在属性一致性异常数
据。
方式或无线连接方式将属性一致性异常报警信息发送至上述用户终端,使得用户终端展示
属性一致性异常报警信息。由此,可以通知相关工作人员上述属性一致性异常报警信息。
表,生成数据一致性异常表。其中,上述数据一致性异常条件可以为表字段的数据类型与物
品信息表对应的物品信息虚拟表所包括的目标表字段的数据类型不同。例如,可以利用
Presto引擎确定物品信息表包括的表字段的数据类型。表字段的数据类型可以包括但不限
于:int(integer,整型)和float(浮点型)。上述目标表字段可以为上述物品信息虚拟表中
与上述物品信息表包括的表字段对应的表字段。实践中,首先,上述执行主体可以从上述物
品信息表集合中选择满足上述数据一致性异常条件的物品信息表作为第八备选物品信息
表,得到第八备选物品信息表集合。然后,可以创建数据一致性异常空表。之后,可以将上述
第八备选物品信息表集合中各个第八备选物品信息表的表名、表负责人姓名和与上述目标
表字段对应的表字段名写入上述数据一致性异常空表,得到数据一致性异常表。由此,得到
的数据一致性异常表中记录了物品信息表集合中满足数据一致性异常条件的物品信息表
的相关信息。
品信息表中数据的一致性较差,数据的可靠性较低”。导致无法提升数据的一致性与可靠性
的因素如下:无法通过不同查询方式查询的物品信息表中数据的数据类型。如果解决了上
述因素,就能达到提升数据的一致性与可靠性的效果。为了达到这一效果,本公开利用Hive
引擎和Click House引擎得到了每个表字段的数据类型集合,生成属性一致性异常表,根据
属性一致性异常表生成属性一致性异常报警信息并发送至相关联的用户终端,使得相关工
作人员对存在属性一致性异常的表字段进行修改,从而提升数据的一致性与可靠性。进而
检测表字段的属性与元数据中记录的该数据的属性是否一致,从而提示相关工作人员对不
一致的情况进行修改,进一步提升数据的一致性与可靠性。
值异常报警信息。
实施例描述的方案可以监控数据仓库中数据的属性是否一致,并提示相关工作人员对不一
致情况进行修改,从而提升数据的一致性与可靠性。
以应用于各种电子设备中。
单元401被配置成获取物品信息表集合;第一生成单元402被配置成响应于物品信息表集合
中存在满足数据完整性异常条件的物品信息表,根据物品信息表集合中满足数据完整性异
常条件的物品信息表,生成数据完整性异常表;第二生成单元403被配置成响应于物品信息
表集合中存在满足数据一致性异常条件的物品信息表,根据物品信息表集合中满足数据一
致性异常条件的物品信息表,生成数据一致性异常表;第三生成单元404被配置成响应于物
品信息表集合中存在满足率值异常条件的物品信息表,根据物品信息表集合中满足率值异
常条件的物品信息表,生成率值异常表;第四生成单元405被配置成分别根据数据完整性异
常表、数据一致性异常表和率值异常表,生成完整性异常报警信息、一致性异常报警信息和
率值异常报警信息;而发送单元406被配置成将完整性异常报警信息、一致性异常报警信息
和率值异常报警信息发送至相关联的用户终端,使得用户终端展示完整性异常报警信息、
一致性异常报警信息和率值异常报警信息。
中包含的单元,在此不再赘述。
的实施例的功能和使用范围带来任何限制。
存储器(RAM)503中的程序而执行各种适当的动作和处理。在RAM 503中,还存储有电子设备
500操作所需的各种程序和数据。处理装置501、ROM 502以及RAM 503通过总线504彼此相
连。输入/输出(I/O)接口505也连接至总线504。
动器等的输出装置507;包括例如磁带、硬盘等的存储装置508;以及通信装置509。通信装置
509可以允许电子设备500与其他设备进行无线或有线通信以交换数据。虽然图5示出了具
有各种装置的电子设备500,但是应理解的是,并不要求实施或具备所有示出的装置。可以
替代地实施或具备更多或更少的装置。图5中示出的每个方框可以代表一个装置,也可以根
据需要代表多个装置。
可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在
这样的一些实施例中,该计算机程序可以通过通信装置509从网络上被下载和安装,或者从
存储装置508被安装,或者从ROM 502被安装。在该计算机程序被处理装置501执行时,执行
本公开的一些实施例的方法中限定的上述功能。
可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意
以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导
线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可
编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD‑ROM)、光存储器件、
磁存储器件、或者上述的任意合适的组合。在本公开的一些实施例中,计算机可读存储介质
可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用
或者与其结合使用。而在本公开的一些实施例中,计算机可读信号介质可以包括在基带中
或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数
据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算
机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读
信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合
使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限
于:电线、光缆、RF(射频)等等,或者上述的任意合适的组合。
以与任意形式或介质的数字数据通信(例如,通信网络)互连。通信网络的示例包括局域网
(“LAN”),广域网(“WAN”),网际网(例如,互联网)以及端对端网络(例如,ad hoc端对端网
络),以及任何当前已知或未来研发的网络。
个程序被该电子设备执行时,使得该电子设备:响应于物品信息表集合中存在满足数据完
整性异常条件的物品信息表,根据物品信息表集合中满足数据完整性异常条件的物品信息
表,生成数据完整性异常表。响应于物品信息表集合中存在满足数据一致性异常条件的物
品信息表,根据物品信息表集合中满足数据一致性异常条件的物品信息表,生成数据一致
性异常表。响应于物品信息表集合中存在满足率值异常条件的物品信息表,根据物品信息
表集合中满足率值异常条件的物品信息表,生成率值异常表。分别根据数据完整性异常表、
数据一致性异常表和率值异常表,生成完整性异常报警信息、一致性异常报警信息和率值
异常报警信息。将完整性异常报警信息、一致性异常报警信息和率值异常报警信息发送至
相关联的用户终端,使得用户终端展示完整性异常报警信息、一致性异常报警信息和率值
异常报警信息。
Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语
言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立
的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或
服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包
括局域网(LAN)或广域网(WAN)——连接到用户计算机,或者,可以连接到外部计算机(例如
利用因特网服务提供商来通过因特网连接)。
表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用
于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标
注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上
可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注
意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执
行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令
的组合来实现。
获取单元、第一生成单元、第二生成单元、第三生成单元、第四生成单元和发送单元。其中,
这些单元的名称在某种情况下并不构成对该单元本身的限定,例如,获取单元还可以被描
述为“获取物品信息表集合的单元”。
用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)等
等。
合而成的技术方案,同时也应涵盖在不脱离上述发明构思的情况下,由上述技术特征或其
等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开的实施例中公开的
(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。