一种基于联盟计算的数据全域共享系统及方法

摘要

本发明涉及多节点多网域数据协同计算技术领域，涉及弱约束联盟模式下的大数据计算共享技术，尤其是一种基于联盟计算的数据全域共享系统及方法。包括：中心节点单元；业务节点单元；数据传输单元；合约管理单元；中心节点单元具有中心数据存储服务组件和中心计算组件；业务节点单元具有业务数据存储服务组件和业务计算组件；数据传输单元使中心节点单元和业务节点单元实现直接或间接通信连接；其中，合约管理单元具有第一合约组件、第二合约组件和分析组件。提供了简单合约模式，这将在联盟实际运行中为联盟内数据的多方共享提供极大的便利，具有较强的商业推广友好性。极大地简化新需求合约签订的同时，确保新需求被及时、全面

权利要求

1.一种基于联盟计算的数据全域共享系统，其特征在于，包括：中心节点单元；

业务节点单元；

数据传输单元；

合约管理单元；

其中，中心节点单元具有中心数据存储服务组件和中心计算组件；

其中，业务节点单元具有业务数据存储服务组件和业务计算组件；

其中，数据传输单元使中心节点单元和业务节点单元实现直接或间接通信连接；

其中，合约管理单元具有第一合约组件、第二合约组件和分析组件；

其中，第一合约组件与分析组件通信连接，第一合约组件用于根据第一合约录入业务数据表，分析组件用于根据业务数据表提取生成格式化的需求表单；

其中，第二合约组件与分析组件通信连接，第二合约组件具有非合约业务监听模块；

其中，非合约业务监听模块用于监听业务节点单元发生的非合约业务，并生成监听控制信号；

所述监听控制信号传输至分析组件，用于使分析组件获取非合约业务表单并分析生成需求表单子项；

其中，所述需求表单子项为记载于非合约业务表单，且未记载于需求表单的数据项；

其中，数据项具有数据实体，和，与数据实体对应的一项或多项数据描述；

添加所述需求表单子项至所述需求表单。

2.根据权利要求1所述的一种基于联盟计算的数据全域共享系统，其特征在于，所述中心计算组件具有：碰撞聚类模块；

其中，碰撞聚类模块可用于查询不同需求表单中的相似数据实体，并提取所述数据实体对应的数据描述；其中，所述相似数据实体包括数据相同，和/或，数据结构相同；

提取的数据描述存储于一扩展描述集合，并与所述数据实体建立映射路径。

3.根据权利要求2所述的一种基于联盟计算的数据全域共享系统，其特征在于：系统具有聚类配置模块；

所述聚类配置模块可通过外部输入信号设定所述数据实体的查询条件为数据相同或数据结构相同。

4.根据权利要求1‑3之任一项权利要求所述的一种基于联盟计算的数据全域共享系统，其特征在于，所述中心计算组件具有：第一数据同步模块；

所述第一数据同步模块与各合约管理单元相连接，用于获取各业务节点单元相应的需求表单；

且，根据所述需求表单建立数据更新路由策略，用于将任意业务节点单元更新的对应数据项同步更新至所述需求表单对应的业务节点单元。

5.根据权利要求1‑3之任一项权利要求所述的一种基于联盟计算的数据全域共享系统，其特征在于，包括：具有第二数据同步模块的业务计算组件；

具有数据广播更新模块的中心计算组件；

其中，第二数据同步模块用于监听所述业务节点单元发生的数据更新，且连接数据广播更新模块，用于将所述数据更新传输至数据广播更新模块；

其中，数据广播更新模块用于将获取自任意第二数据同步模块的数据更新广播至所有连接的第二数据同步模块；

其中，第二数据同步模块与需求表单相连接，用于判断接收自数据广播更新模块的数据更新是否为所述需求表单的数据项，并可根据判断结果对更新数据进行抛弃或对相应业务节点单元进行数据更新操作。

6.根据权利要求4所述的一种基于联盟计算的数据全域共享系统，其特征在于，用于建立数据更新路由策略的需求表单信息包括与表单数据相对应的扩展描述集合的数据信息。

7.根据权利要求5所述的一种基于联盟计算的数据全域共享系统，其特征在于，与第二数据同步模块相连接的需求表单需求表单信息包括与表单数据相对应的扩展描述集合的数据信息。

8.根据权利要求2所述的一种基于联盟计算的数据全域共享系统，其特征在于，所述碰撞聚类模块包括：运行于各业务节点单元的鉴定终端；

运行于中心计算组件的碰撞模组；

所述鉴定终端提供外部操作界面，所述外部操作界面用于对碰撞模组碰撞识别的数据项进行接受或丢弃的选择操作；

其中，被操作为丢弃的数据项增加所述鉴定终端的身份标识，并存储于中心存储服务组件。

9.一种基于联盟计算的数据全域共享方法，其特征在于，以权利要求1‑8之任一项权利要求所述的基于联盟计算的数据全域共享系统为运行系统，将更新自任意业务节点单元的数据传输至中心节点单元，并以路由或广播的形式同步其余业务节点单元。

10.根据权利要求9所述的一种基于联盟计算的数据全域共享方法，其特征在于，所述路由的方法为：S1、数据实体发生更新时，提取所述数据实体对应的数据描述；

S2、提取所述数据描述所在的扩展描述集合；

S3、查找包含所述扩展描述集合中数据描述项的需求表单；

S4、更新所有所述需求表单对应的业务节点单元的数据项。

说明书

一种基于联盟计算的数据全域共享系统及方法

技术领域

[0001] 本发明涉及多节点多网域数据协同计算技术领域，涉及弱约束联盟模式下的大数据计算共享技术，尤其是一种基于联盟计算的数据全域共享系统及方法。

背景技术

[0002] 伴随着信息技术的发展和积累，数据已经全面深刻的影响着社会治理活动。由于社会治理的主体和对象均是人，因此几乎所有数据基本也都可以通过与之发生关系的人形成直接或间接的联系，构成人的大数据要素，也构成了广义的人口信息大数据。同时，由于数据的联系是复杂且全面的，因此对所有数据进行中心化的存储或使用几乎是不可能的，远远超出当前技术的计算及存储能力的极限。

[0003] 此类大数据存储量巨大、关系复杂，且格式多样。因此，现有大数据信息使用难度大，使用率底下，造成了极大的数据资源/数据资产浪费。相比于数据价值充分挖掘后的社会治理，当下的治理过程在数据存储、共享、计算等多方面存在着大量重复、冗余配置，资源浪费率高，信息使用率低。

[0004] 以社会治理为例，一个人的数据涉及从出生、成长、学习、工作以及各类社会活动，并分布存储于各类政府或非政府的单位中。而当下，正处于信息化基础技术得到充分发展，数据积累丰富的关键节点，但数据应用刚刚起步的阶段。数据不仅仅以数字化的存储形式存在，还包括信息化技术发展不成熟时的大量地方治理数据，以及构成数据链或者构成数据血缘溯源关键节点的非数字化存储数据，对数据应用造成了较大阻碍。

发明内容

[0005] 为解决上述现有技术问题，本发明提供一种应用于多节点多网域数据的全局数据共享系统及方法，可选实施方案如下：

[0006] 一种基于联盟计算的数据全域共享系统，包括：

[0007] 中心节点单元；

[0008] 业务节点单元；

[0009] 数据传输单元；

[0010] 合约管理单元；

[0011] 其中，中心节点单元具有中心数据存储服务组件和中心计算组件；

[0012] 其中，业务节点单元具有业务数据存储服务组件和业务计算组件；

[0013] 其中，数据传输单元使中心节点单元和业务节点单元实现直接或间接通信连接；

[0014] 其中，合约管理单元具有第一合约组件、第二合约组件和分析组件；

[0015] 其中，第一合约 组件与分析组件通信连接，第一合约组件用于根据第一合约录入业务数据表，分析组件用于根据业务数据表提取生成格式化的需求表单；

[0016] 其中，第二合约组件与分析组件通信连接，第二合约组件具有非合约业务监听模块；

[0017] 其中，非合约业务监听模块用于监听业务节点单元发生的非合约业务，并生成监听控制信号；

[0018] 所述监听控制信号传输至分析组件，用于使分析组件获取非合约业务表单并分析生成需求表单子项；

[0019] 其中，所述需求表单子项为记载于非合约业务表单，且未记载于需求表单的数据项；

[0020] 其中，数据项具有数据实体，和，与数据实体对应的一项或多项数据描述；

[0021] 添加所述需求表单子项至所述需求表单。

[0022] 可选方案的一种，所述中心计算组件具有：

[0023] 碰撞聚类模块；

[0024] 其中，碰撞聚类模块可用于查询不同需求表单中的相似数据实体，并提取所述数据实体对应的数据描述；

[0025] 所述提取的数据描述存储于一扩展描述集合，并与所述数据实体建立映射路径。

[0026] 可选方案的一种，所述相似数据实体包括数据相同，和/或，数据结构相同；

[0027] 且，系统具有聚类配置模块；

[0028] 所述聚类配置模块可通过外部输入信号设定所述数据实体的查询条件为数据相同或数据结构相同。

[0029] 可选方案的一种，所述中心计算组件具有：

[0030] 第一数据同步模块；

[0031] 所述第一数据同步模块与各合约管理单元相连接，用于获取各业务节点单元相应的需求表单；

[0032] 且，根据所述需求表单建立数据更新路由策略，用于将任意业务节点单元更新的对应数据项同步更新至所述需求表单对应的业务节点单元。

[0033] 可选方案的一种，包括：

[0034] 具有第二数据同步模块的业务计算组件；

[0035] 具有数据广播更新模块的中心计算组件；

[0036] 其中，第二数据同步模块用于监听所述业务节点单元发生的数据更新，且连接数据广播更新模块，用于将所述数据更新传输至数据广播更新模块；

[0037] 其中，数据广播更新模块用于将获取自任意第二数据同步模块的数据更新广播至所有连接的第二数据同步模块；

[0038] 其中，第二数据同步模块与需求表单相连接，用于判断接收自数据广播更新模块的数据更新是否为所述需求表单的数据项，并可根据判断结果对所述更新数据进行抛弃或对相应业务节点单元进行数据更新操作。

[0039] 可选方案的一种，所述用于建立数据更新路由策略的需求表单信息包括与所述表单数据相对应的扩展描述集合的数据信息。

[0040] 可选方案的一种，所述与第二数据同步模块相连接的需求表单需求表单信息包括与所述表单数据相对应的扩展描述集合的数据信息。

[0041] 可选方案的一种，所述碰撞聚类模块包括：

[0042] 运行于各业务节点单元的鉴定终端；

[0043] 运行于中心计算组件的碰撞模组；

[0044] 所述鉴定终端提供外部操作界面，所述外部操作界面用于对碰撞模组碰撞识别的数据项进行接受或丢弃的选择操作；

[0045] 其中，被操作为丢弃的数据项增加所述鉴定终端的身份标识，并存储于中心存储服务组件。

[0046] 可选方案的一种，一种基于联盟计算的数据全域共享方法，所述的基于联盟计算的数据全域共享系统为运行系统，

[0047] 将更新自任意业务节点单元的数据传输至中心节点单元，并以路由或广播的形式同步其余业务节点单元。

[0048] 可选方案的一种，所述路由的方法为：

[0049] S1、数据实体发生更新时，提取所述数据实体对应的数据描述；

[0050] S2、提取所述数据描述所在的扩展描述集合；

[0051] S3、查找包含所述扩展描述集合中数据描述项的需求表单；

[0052] S4、更新所有所述需求表单对应的业务节点单元的数据项。

[0053] 本发明的有益效果体现在，通过本申请的数据全域共享系统进行数据共享时，可以实现各业务节点单元之间的数据互通。并且，各业务节点间实质上的数据更新交互无需各业务节点之间单独签订合约。签约过程仅仅为业务节点单元与中心节点单元之间的双边合约。同时，各业务节点可按需获得自身需要的数据，并可持续单方面被动更新数据需求，即数据需求的更新由系统主动发现，数据源的获取由系统自动完成，业务数据单元接入方仅需关注自身业务，而无需为数据的获取和/或共享做单独的能力或资源的准备。极大地简化新需求合约签订的同时，确保新需求被及时、全面的发现，并通过碰撞聚类主动串联各可能的数据联系，实现数据规模、数据关系的自生长。为数据的市场化交易计量、交易市场发现等数据价值应用提供了基础及应用平台。

附图说明

[0054] 图1为本发明实施例所提供的第一种基于联盟计算的数据全域共享系统的示意图；

[0055] 图2为本发明实施例所提供的第二种基于联盟计算的数据全域共享系统的示意图；

[0056] 图3为本发明所提供的中心计算组件的示意图；

[0057] 图4为本发明所提供的一种基于联盟计算的数据全域共享方法的流程图。

具体实施方式

[0058] 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

[0059] 实施例1：

[0060] 参照图1‑图4，

[0061] 一种基于联盟计算的数据全域共享系统，包括：

[0062] 中心节点单元、业务节点单元、数据传输单元和合约管理单元；

[0063] 其中，中心节点单元具有中心数据存储服务组件和中心计算组件；

[0064] 其中，业务节点单元具有业务数据存储服务组件和业务计算组件；

[0065] 其中，数据传输单元使中心节点单元和业务节点单元实现直接或间接通信连接；

[0066] 其中，合约管理单元具有第一合约组件、第二合约组件和分析组件；

[0067] 其中，第一合约 组件与分析组件通信连接，第一合约组件用于根据第一合约录入业务数据表，分析组件用于根据业务数据表提取生成格式化的需求表单；

[0068] 其中，第二合约组件与分析组件通信连接，第二合约组件具有非合约业务监听模块；

[0069] 其中，非合约业务监听模块用于监听业务节点单元发生的非合约业务，并生成监听控制信号；

[0070] 所述监听控制信号传输至分析组件，用于使分析组件获取非合约业务表单并分析生成需求表单子项；

[0071] 其中，所述需求表单子项为记载于非合约业务表单，且未记载于需求表单的数据项；

[0072] 其中，数据项具有数据实体，和，与数据实体对应的一项或多项数据描述；

[0073] 添加所述需求表单子项至所述需求表单。

[0074] 由于各业务节点单元之间存在数据交互和相互的需求，但并非传统数据共享模式中的需要业务的直接关联方之间进行三方（含平台）或多方合约签订，因此对于联盟的组建属于业务方与联盟管理方的简单合约模式，这将在联盟实际运行中为联盟内数据的多方共享提供极大的便利，具有较强的商业推广友好性。同时，在数据的业务方与联盟的管理方之间签订数据共享合约时，仅仅以业务方的高频及急需业务作为首次合约内容即可，数据需求方无需指定或寻找数据供给方，可通过系统根据数据需求方的业务进行分析后主动发现并建立数据传输/供给路由。对于合约签订后的运行，数据需求方仅需正常开展业务，系统将根据数据需求的监听主动发现新的需求并主动建立新的合约。即系统将以系统所连接的全部业务节点单元的数据的信息为数据需求方匹配数据信息，这将超出原多边协同/多边合约系统业务办理的界限，通过数据信息创造更多更新的数据价值共享链路。基本实现数据需求方按需索取，系统主动匹配并主动服务。

[0075] 实施例2：

[0076] 本实施例以实施例1所公开的技术方案为基础，为所述中心计算组件设置：碰撞聚类模块；

[0077] 其中，碰撞聚类模块可用于查询不同需求表单中的相似数据实体，并提取所述数据实体对应的数据描述；

[0078] 所述提取的数据描述存储于一扩展描述集合，并与所述数据实体建立映射路径。

[0079] 采用本实施例的方案，可实现对原始数据积累量大，但业务实质关联的数据共享提供较高匹配度的应用支撑。以省级行政单位下的各级公安部门户籍管理的数据共享为例，由于户籍数据建立较早，并且经过多次变更，部分地区存在多民族语言、民族自治等特殊情况，以及各地信息化发展普及时间不一致，发展程度不同，导致大量实体一致的数据表现及存储形式多元化。以至于数据溯源（数据血缘建立）、关联等应用异常复杂。采用本实施例的方案后，可以将实体指向相同的数据进行自主类聚。对于业务节点单元的业务接入单位而言，其使用者依旧可以按照自身长期形成的工作习惯、组织管理语言等进行工作，而无需为数据共享联盟的接入而学习新的工作技能，使系统的接入落地难度极低。

[0080] 实施例3：

[0081] 作为可选实施方案的一种，所述相似数据实体包括数据相同，和/或，数据结构相同；

[0082] 且，系统具有聚类配置模块；

[0083] 所述聚类配置模块可通过外部输入信号设定所述数据实体的查询条件为数据相同或数据结构相同。

[0084] 本实施例的价值至少在于提供了一种有一定模糊度的构建数据间联系的方案，对于发现可能的数据关系具有较强的覆盖性。此外，数据结构相同而非数据实体相同对于类似地址、住址等结构化较为明显的数据具有较好的聚类效果，同时也保持了一定的规范性，数据噪声可控。

[0085] 实施例4：

[0086] 所述中心计算组件具有：

[0087] 第一数据同步模块；

[0088] 所述第一数据同步模块与各合约管理单元相连接，用于获取各业务节点单元相应的需求表单；

[0089] 且，根据所述需求表单建立数据更新路由策略，用于将任意业务节点单元更新的对应数据项同步更新至所述需求表单对应的业务节点单元。

[0090] 实施例5：

[0091] 可选实施方案的一种，包括：

[0092] 具有第二数据同步模块的业务计算组件；

[0093] 具有数据广播更新模块的中心计算组件；

[0094] 其中，第二数据同步模块用于监听所述业务节点单元发生的数据更新，且连接数据广播更新模块，用于将所述数据更新传输至数据广播更新模块；

[0095] 其中，数据广播更新模块用于将获取自任意第二数据同步模块的数据更新广播至所有连接的第二数据同步模块；

[0096] 其中，第二数据同步模块与需求表单相连接，用于判断接收自数据广播更新模块的数据更新是否为所述需求表单的数据项，并可根据判断结果对所述更新数据进行抛弃或对相应业务节点单元进行数据更新操作。

[0097] 需求表单是业务节点单元向联盟平台获取数据的合约内容实体，与相应的业务节点单元相对应。业务节点单元所存储的数据用于支撑业务节点单元对应的业主方的业务办理。理论上，各业务节点的数据源以及中心节点单元的数据均是关联的。存在过的数据共享方案是将所有数据进行各节点冗余备份并同步，以保证各节点办理任何业务时都能得到支撑。但这种共享方式在商业上基本未在大规模数据共享中获得成功，一方面此类数据的相互关联几乎是无限的，其存储资源占用极高，不利于经济存储；另一方面，各类数据涉及敏感信息，通常有有权部门管控（比如公安部门存储的数据、个人隐私数据等），完全的数据共享存储破坏了隐私保护原则。而本申请及各实施例的方案均可实现业务节点单元仅获取其业务办理所必须的数据支持，即实现根据业务性质的按需数据供给（共享），提供较强的数据治理便利的同时完全兼顾数据的分权管理属性及隐私保护需求。

[0098] 实施例4和实施例5所公开的方案分别提供了两种数据的按需更新共享方式。其提供的系统部署终端不同，二者结合可实现覆盖不同的部署需求。预先构建路由方案的方式由于路由运行与中心节点单元，因此中心节点单元在服务的基础功能上可进一步进行功能挖掘，比如进行路由链路分析及监控，对于多链路组合可能形成的数据隐私泄露可提前发现并预警。而通过广播的方式可实现低成本的部署，新接入业务节点单元而无需更改中心节点单元的基本配置。

[0099] 实施例6：

[0100] 可选实施例方案的一种，所述用于建立数据更新路由策略的需求表单信息包括与所述表单数据相对应的扩展描述集合的数据信息。

[0101] 实施例7：

[0102] 可选实施方案的一种，所述与第二数据同步模块相连接的需求表单需求表单信息包括与所述表单数据相对应的扩展描述集合的数据信息。

[0103] 实施例6与实施例7的两组实施方案将扩展描述集合的数据信息引入上述各实施例为基础的方案中，新的系统应用于类似户籍管理或人口大数据应用这种具有长期积累、且早期各自为政的数据孤岛式发展的数据系统时，对于保持各业务单位的业务自主性（自主业务创新及自由业务管理语言体系/规则体系等）匹配度高。

[0104] 实施例8：

[0105] 可选实施方案的一种，所述碰撞聚类模块包括：

[0106] 运行于各业务节点单元的鉴定终端；

[0107] 运行于中心计算组件的碰撞模组；

[0108] 所述鉴定终端提供外部操作界面，所述外部操作界面用于对碰撞模组碰撞识别的数据项进行接受或丢弃的选择操作；

[0109] 其中，被操作为丢弃的数据项增加所述鉴定终端的身份标识，并存储于中心存储服务组件。

[0110] 在本申请各实施例的系统中，当涉及数据量较大、业务计算单元较多的实际应用时，计算机智能聚类几乎无法做到准确，通常能做的是基于设定目标的优化。比如计算资源有限的情况下可能牺牲准确率，比如计算要求实时与否也决定着计算策略，所以目标设定和策略选择是发明人对问题的理解发现和综合决策的结果，属于创造性劳动的范畴。于本实施例而言，系统设置了鉴定终端，并将鉴定终端设置于业务节点单元。鉴定终端可以为常规业务办理权限账户之外的权限账户。该账户可以指定分配给具备鉴别能力的专业业务人员。通过此设置，数据的碰撞聚类过程就引入了系统外专家智慧，并且为系统外专家的介入提供了秘书式的交互服务，使得专家的智慧介入是以回答二值选择问题的方式存在。相比于专家系统性输出以及主观输出，该专家经验的介入交互对专家的友好性极高。

[0111] 实施例9：

[0112] 一种基于联盟计算的数据全域共享方法，

[0113] 以上述任一项实施方案所述的基于联盟计算的数据全域共享系统为运行系统，[0114] 将更新自任意业务节点单元的数据传输至中心节点单元，并以路由或广播的形式同步其余业务节点单元。

[0115] 实施例10：

[0116] 可选方案的一种，所述路由的方法为：

[0117] S1、数据实体发生更新时，提取所述数据实体对应的数据描述；

[0118] S2、提取所述数据描述所在的扩展描述集合；

[0119] S3、查找包含所述扩展描述集合中数据描述项的需求表单；

[0120] S4、更新所有所述需求表单对应的业务节点单元的数据项。

[0121] 实施例9和实施例10所公开的数据全域共享方法，即是基于本申请各实施例的系统的数据共享运行后的应用，同时也是各系统的功能实现目标。

[0122] 在本发明的实施例的描述中，术语“第一”、“第二”、“第三”、“第四”仅用以描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”、“第三”、“第四”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。

[0123] 在本发明的实施例的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“组装”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

[0124] 在本发明的实施例的描述中，具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

[0125] 在本发明的实施例的描述中，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

[0126] 尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。