一种区块链虚拟货币数据中台及虚拟货币数据处理方法

IPRDB

API 数据接口

专利申请

使用指引 chat嘟嘟

会员体验

联系我们

交流群

现在联系顾问~

一种区块链虚拟货币数据中台及虚拟货币数据处理方法
申请号	CN202110170254.8	申请日	2021-02-08	公开(公告)号	CN114911865A	公开(公告)日	2022-08-16
申请人	成都链安科技有限公司;			发明人	郭文生; 杨霞;
摘要	本发明公开了一种区块链虚拟货币数据中台及虚拟货币数据处理方法，涉及数据中台领域，包括：区块链全节点远程过程调用封装模块，用于获得输入数据中台的原始区块链数据；交易数据解析模块，用于结构化解析原始区块链数据；交易数据发布消息模块，用于解偶交易数据解析模块与数据中台中的其他模块；交易数据存储模块：用于保存结构化交易数据；地址信息统计模块，用于统计区块链上的地址信息以及交易行为信息；计算平台，用于进行数据挖掘与行为特征分析；本发明中的数据中台能够对主流虚拟货币的交易数据的全量采集；能够结构化解析并存储以及发布订阅消息；能够实现区块虚拟货币数据的聚合统计分析。
权利要求	1.一种区块链虚拟货币数据中台，其特征在于，所述数据中台包括：区块链全节点远程过程调用封装模块，用于集成各区块链全节点提供的远程过程调用服务，提供针对区块链全节点原始数据的访问功能，获得输入数据中台的原始区块链数据；交易数据解析模块，用于分析输入的原始区块链数据，结构化解析原始区块链数据，形成数据中台统一标准的结构化数据，作为数据中台的数据基础；交易数据发布消息模块，用于解偶交易数据解析模块与数据中台中的其他模块，以及用于为数据分析提供支持，以及用于作为计算平台的源表；交易数据存储模块，用于保存交易数据解析模块解析获得的结构化交易数据；地址信息统计模块，用于统计区块链上的地址信息以及交易行为信息；计算平台，用于进行数据挖掘与行为特征分析，计算平台将交易数据发布消息模块的交易信息作为源表，分析结果信息存储到交易数据存储模块作为结果表输出。 2.根据权利要求1所述的区块链虚拟货币数据中台，其特征在于，交易数据解析模块循环请求区块链全节点的当前状态，查询区块链上最新的第一数据块，比较第一数据块与当前数据中台处理的最新的第二数据块，若第一数据块与第二数据块比较结果一致，则区块链上无新增数据块，若第一数据块与第二数据块比较结果不一致，则获得区块链上新增的第一数据块；获取到区块链上新增的第一数据块后，数据中台发起请求获取区块链的第一数据块内容并结构化解析第一数据块中的数据。 3.根据权利要求1所述的区块链虚拟货币数据中台，其特征在于，交易数据存储模块通过监听交易数据发布消息模块发布的交易数据，使用异步开发数据存储逻辑将交易数据写入数据库。 4.根据权利要求1所述的区块链虚拟货币数据中台，其特征在于，地址信息统计模块通过监听交易数据发布消息模块发布的交易消息，解析其中包含的地址信息，对存储在数据库中地址余额信息、统计信息进行更新。 5.根据权利要求1所述的区块链虚拟货币数据中台，其特征在于，所述数据中台还包括分叉问题解决模块，用于记录交易数据解析模块已处理的区块链数据块对应的区块号，获得区块号序列，对于任意一个区块号为N的第一区块链数据块，当区块号序列中出现区块号为N+M的第二区块链数据块时，则分叉问题解决模块获得第一区块链数据块对应链上数据块的第一哈希信息，并获取上一次处理第一区块链数据块时记录的第二哈希信息，比较第一哈希信息与第二哈希信息是否一致，若比较结果为不一致，则触发针对第一区块链数据块中的交易数据修复操作，并发布分叉消息，数据中台中的相关模块收到分叉消息后进行回滚重新计算，N和M均大于1的整数。 6.根据权利要求5所述的区块链虚拟货币数据中台，其特征在于，地址信息统计模块监听交易数据发布消息模块发布的分叉信息，对历史处理的错误交易数据进行回滚，并且重新计算。 7.根据权利要求1所述的区块链虚拟货币数据中台，其特征在于，计算平台的分析内容包括：交易聚合分析和地址特征抽取。 8.根据权利要求1所述的区块链虚拟货币数据中台，其特征在于，交易数据解析模块使用Python异步编程的方式编写数据解析服务。 9.根据权利要求1所述的区块链虚拟货币数据中台，其特征在于，交易数据发布消息模块采用分布式发布订阅消息方式实现。 10.一种基于权利要求1‑9中任意一个所述的区块链虚拟货币数据中台的虚拟货币数据处理方法，其特征在于，所述方法包括：利用全节点服务器备份采集的原始数据，针对每种虚拟货币均搭建多台全节点服务；基于区块链全节点远程过程调用封装模块采集原始区块链数据；基于交易数据解析模块结构化解析原始区块链数据获得结构化数据，一方面将结构化数据存储在交易数据存储模块中，另一方面利用交易数据发布消息模块处理结构化数据发布交易数据消息；利用地址信息统计模块处理交易数据消息实现地址解析服务，并将地址解析结果保存；利用计算平台处理交易数据消息进行聚合统计分析，将分析结果保存。
说明书全文	一种区块链虚拟货币数据中台及虚拟货币数据处理方法技术领域 [0001] 本发明涉及数据中台领域，具体地，涉及一种区块链虚拟货币数据中台及虚拟货币数据处理方法。背景技术 [0002] 目前针对区块链虚拟货币的数据进行分析已经产生了很多应用，比如基于区块链交易行为的追踪溯源分析，大额异常交易的监控，地址金额的异常波动，以及基于人工智能的地址行为特征抽取与分析，地址身份识别等。现有的数据中台无法指导获取各主流币种区块链虚拟货币数据，现有的数据中台中虚拟货币交易数据不互通导致的只能单币种分析交易活动，无法实现关联分析各主流币种区块链虚拟货币交易的能力。发明内容 [0003] 为解决上述问题，本发明提供了一种区块链虚拟货币数据中台及虚拟货币数据处理方法，本发明中的数据中台中虚拟货币交易数据互通，能够进行多币种分析交易活动，能够实现关联分析各主流币种区块链虚拟货币交易的能力。 [0004] 为实现上述发明目的，本发明提供了一种区块链虚拟货币数据中台，所述数据中台包括： [0005] 区块链全节点远程过程调用封装模块，用于集成各区块链全节点提供的远程过程调用服务，提供针对区块链全节点原始数据的访问功能，获得输入数据中台的原始区块链数据； [0006] 交易数据解析模块，用于分析输入的原始区块链数据，结构化解析原始区块链数据，形成数据中台统一标准的结构化数据，作为数据中台的数据基础； [0007] 交易数据发布消息模块，用于解偶交易数据解析模块与数据中台中的其他模块，以及用于为数据分析提供支持，以及用于作为计算平台的源表； [0008] 交易数据存储模块，用于保存交易数据解析模块解析获得的结构化交易数据； [0009] 地址信息统计模块，用于统计区块链上的地址信息以及交易行为信息； [0010] 计算平台，用于进行数据挖掘与行为特征分析，计算平台将交易数据发布消息模块的交易信息作为源表，分析结果信息存储到交易数据存储模块作为结果表输出。 [0011] 通过对现有技术的研究发现，当前急需一种数据中台用以指导实现对主流虚拟货币信息的全量采集、存储和深度分析，为进一步调查和分析区块链虚拟货币相关的资金转移活动以及使用等提供数据的支撑。本发明提供的一种区块链虚拟货币数据中台，能快速指导搭建基于区块链虚拟货币的数据中台，为基于区块链数据的分析活动提供底层的数据支撑。 [0012] 优选的，本发明中交易数据解析模块循环请求区块链全节点的当前状态，查询区块链上最新的第一数据块，比较第一数据块与当前数据中台处理的最新的第二数据块，若第一数据块与第二数据块比较结果一致，则区块链上无新增数据块，若第一数据块与第二数据块比较结果不一致，则获得区块链上新增的第一数据块；在获取到区块链上新增的第一数据块之后，数据中台发起请求获取区块链的第一数据块内容并结构化解析第一数据块中的数据。 [0013] 优选的，本发明中交易数据存储模块通过监听交易数据发布消息模块发布的交易数据，使用异步开发数据存储逻辑将交易数据写入数据库。 [0014] 优选的，本发明中地址信息统计模块通过监听交易数据发布消息模块发布的交易消息，解析其中包含的地址信息，对存储在数据库中地址余额信息、统计信息进行更新。 [0015] 优选的，本发明中所述数据中台还包括分叉问题解决模块，用于记录交易数据解析模块已处理的区块链数据块对应的区块号，获得区块号序列，对于任意一个区块号为N的第一区块链数据块，当区块号序列中出现区块号为N+M的第二区块链数据块时，则分叉问题解决模块获得第一区块链数据块对应链上数据块的第一哈希信息，并获取上一次处理第一区块链数据块时记录的第二哈希信息，比较第一哈希信息与第二哈希信息是否一致，若比较结果为不一致，则触发针对第一区块链数据块中的交易数据修复操作，并发布分叉消息，数据中台中的相关模块收到分叉消息后进行回滚重新计算，N和M均大于1的整数。。 [0016] 优选的，本发明中地址信息统计模块监听交易数据发布消息模块发布的分叉信息，对历史处理的错误交易数据进行回滚，并且重新计算。 [0017] 优选的，本发明中计算平台的分析内容包括：交易聚合分析和地址特征抽取。 [0018] 优选的，本发明中交易数据解析模块使用Python异步编程的方式编写数据解析服务。 [0019] 优选的，本发明中交易数据发布消息模块采用分布式发布订阅消息方式实现。 [0020] 本发明还提供了一种基于所述的区块链虚拟货币数据中台的虚拟货币数据处理方法，所述方法包括： [0021] 利用全节点服务器备份采集的原始数据，针对每种虚拟货币均搭建多台全节点服务； [0022] 基于区块链全节点远程过程调用封装模块采集原始区块链数据； [0023] 基于交易数据解析模块结构化解析原始区块链数据获得结构化数据，一方面将结构化数据存储在交易数据存储模块中，另一方面利用交易数据发布消息模块处理结构化数据发布交易数据消息； [0024] 利用地址信息统计模块处理交易数据消息实现地址解析服务，并将地址解析结果保存； [0025] 利用计算平台处理交易数据消息进行聚合统计分析，将分析结果保存。 [0026] 本发明提供的一个或多个技术方案，至少具有如下技术效果或优点： [0027] 本发明中的数据中台能够对主流虚拟货币的交易数据的全量采集；能够对采集数据进行结构化解析并提供持久化存储方案以及发布订阅消息；能够引入计算平台实现区块虚拟货币数据的聚合统计分析；能够为分析各主流币种区块链虚拟货币的交易活动提供数据能力与计算能力。 [0028] 本发明中的数据中台中虚拟货币交易数据互通，能够进行多币种分析交易活动，能够实现关联分析各主流币种区块链虚拟货币交易的能力。附图说明 [0029] 此处所说明的附图用来提供对本发明实施例的进一步理解，构成本发明的一部分，并不构成对本发明实施例的限定； [0030] 图1为区块链虚拟货币数据中台的组成示意图； [0031] 图2为虚拟货币数据处理方法的流程示意图。具体实施方式 [0032] 为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在相互不冲突的情况下，本发明的实施例及实施例中的特征可以相互组合。 [0033] 在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述范围内的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。 [0034] 应当理解，本文使用的“系统”、“装置”、“单元”和/或“模组”是用于区分不同级别的不同组件、元件、部件、部分或装配的一种方法。然而，如果其他词语可实现相同的目的，则可通过其他表达来替换所述词语。 [0035] 如本说明书和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其它的步骤或元素。 [0036] 本说明书中使用了流程图用来说明根据本说明书的实施例的系统所执行的操作。应当理解的是，前面或后面操作不一定按照顺序来精确地执行。相反，可以按照倒序或同时处理各个步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。 [0037] 请参考图1，图1为区块链虚拟货币数据中台的组成示意图，下面举例对区块链虚拟货币数据中台进行介绍，本发明中的区块链虚拟货币数据中台不限于以下实施方式。 [0038] 为了采集全量的主流虚拟货币的交易数据，需要选型主流货币的全节点，在本地搭建全节点服务器(提供RPC接口)；同时由于区块链虚拟货币的数据量较大，需要对采集的原始数据进行备份以防止由于异常导致的需要重新全量同步全节点数据而浪费大量时间；同时为了保证节点服务器的稳定性每个单独的币种都需要搭建多台全节点服务，同时为了保障全节点的同步速度，提供一套动态检查网络节点寻找最优节点的办法用以保障本地全节点的同步速度；具体的实现方式为：循环的监控全节点的日志信息，获取当前全节点使用的网络节点(全节点会动态的增加使用的网络节点)，获取到网络节点之后测试每个节点的网络延迟，获取网路延迟低的节点加入到全节点的静态节点组中，以此不断的优化和扩展静态节点。 [0039] 为了对采集的区块链虚拟货币原始数据进行结构化解析，使用Python异步编程的方式编写数据解析服务，使用Python异步编程的好处是充分利用服务器的计算资源，提高吞吐量，减少区块链数据同步延迟(针对历史数据处理以及出块速度比较快的链不堆积)。 [0040] 该服务构成包括： [0041] 区块链全节点RPC封装模块：该模块用于将各链全节点提供的RPC进行集成，以抽象统一的形式提供针对全节点原始数据的便捷访问。使用google开发的语言中立、平台中立、开源的远程过程调用‑gRPC，以及Python编程语言实现封装。形成规范化、易扩展、低延迟的区块链原始数据访问。 [0042] 交易数据解析模块：用于将输入的原始区块链数据分析出有价值数据，同时进行结构化解析，形成数据中台统一标准，方便使用的结构化数据，作为数据中台的数据基础。交易数据解析模块循环的通过gRPC去请求全节点的当前状态，获取链上的最新块，并且与当前程序处理的最新块进行比较得到链上新增的数据块。在获取到链上新增的数据块之后会发起请求获取区块链的交易数据进行结构化解析。 [0043] 交易数据发布kafka消息模块：一方面用于解偶数据结构化解析与其他模块，另一方面为提供实时动态的数据分析提供支持，以及作为大数据框架flink的源表，为后续的人工智能分析提供保障。 [0044] 该模块使用confluence kafka+python实现区块链相关数据的动态发布。 [0045] 交易数据持久化存储模块：用于持久化保存交易数据解析模块解析出来的结构化交易数据。 [0046] 通过监听消息模块发布出来的交易数据，使用异步Python开发数据持久化存储逻辑，最后将数据写入到Mongodb或者其他数据库。 [0047] 区块链存在的分叉问题解决模块：解决区块链分叉导致的数据不准确问题。区块链最新块的数据不一定准确，可能在一个确定的时间范围发生变更，如果某个块的内容发生变更则它的块哈希会改变，按照时间顺序程序通过对最新块向前递推N个块重新请求节点进行分析，如发生块哈希与交易数据解析模块处理的块哈希不一致，则触发一次针对这个块中交易数据的修复。同时发布分叉消息，当其他相关模块收到消息后可以进行回滚重新计算。 [0048] 其中，区块链会把链上的交易进行打包出块，将交易放到一个区块里面，然后整个最开始的区块里面的交易可能因为一些原因打包到后面的一个区块中，这时候之前已经打包好交易的区块就会发生变更，比如链上现在已经按着时间打包了1、2、3、4、5、6、7这7个区块。打包进行到第7个区块(距离最开始的1号区块就有6个块的间隔)，当系统打包地7个区块的时候系统会认为第一个区块已经稳定了，不会在发生分叉问题从新打包1号区块的内容。这时候系统已经实时处理的区块就会存在问题，到第七个区块的时候会从新进行一次确认计算，即需要等几个区块的时间之后，才能真正确认最开始的区块内容是否正确，如果不正确就需要回滚重新计算，具体的N的取值可以根据实际需要进行灵活的调整。 [0049] 地址信息统计模块：用于统计区块链上的地址以及交易行为。使用python进行开发实现，一方面通过监听kafka发布的交易消息，解析其中包含的地址信息，对存在mongodb中地址信息进行更新，另一方面监听kafka发布的分叉信息，对之前处理的错误交易数据进行回滚，并且重新计算。如此实现对区块链虚拟货币中的交易数据和地址信息的结构化解析，作为区块链虚拟货币数据中台建设的数据基础。 [0050] 为了解决针对区块链已有数据进行的基于人工智能算法的数据挖掘与行为特征分析问题，引入最前沿的大数据框架分布式流处理引擎flink。由此基于flink，可以实现快速、高效的交易聚合分析、地址特征抽取等，通过区块链数据加大数据框架flink实现关联分析各主流币种区块链虚拟货币交易的能力。flink将kafka的交易信息作为源表，统计分析的结果信息存储到mongodb作为结果表。如此搭建的区块链虚拟货币数据中台即提供了各币种全量的交易与地址的基础数据，又提供了强大的计算分析能力。 [0051] 其中，本发明还提供了一种所述区块链虚拟货币数据中台的构建方法，所述方法包括： [0052] 在本地搭建全节点服务器； [0053] 然后搭建所述区块链虚拟货币数据中台。 [0054] 请参考图2，图2为虚拟货币数据处理方法的流程示意图，本发明实施例提供了一种基于所述的区块链虚拟货币数据中台的虚拟货币数据处理方法，所述方法包括： [0055] 利用全节点服务器备份采集的原始数据，针对每种虚拟货币均搭建多台全节点服务； [0056] 基于区块链全节点远程过程调用封装模块采集原始区块链数据； [0057] 基于交易数据解析模块结构化解析原始区块链数据获得结构化数据，一方面将结构化数据存储在交易数据存储模块中，另一方面利用交易数据发布消息模块处理结构化数据发布交易数据消息； [0058] 利用地址信息统计模块处理交易数据消息实现地址解析服务，并将地址解析结果保存； [0059] 利用计算平台处理交易数据消息进行聚合统计分析，将分析结果保存。 [0060] 本发明提供的一个或多个技术方案，至少具有如下技术效果或优点： [0061] 本发明中的数据中台能够对主流虚拟货币的交易数据的全量采集；能够对采集数据进行结构化解析并提供持久化存储方案以及发布订阅消息；能够引入计算平台实现区块虚拟货币数据的聚合统计分析；能够为分析各主流币种区块链虚拟货币的交易活动提供数据能力与计算能力。 [0062] 本发明中的数据中台中虚拟货币交易数据互通，能够进行多币种分析交易活动，能够实现关联分析各主流币种区块链虚拟货币交易的能力。 [0063] 上文已对基本概念做了描述，显然，对于本领域技术人员来说，上述详细披露仅仅作为示例，而并不构成对本说明书的限定。虽然此处并没有明确说明，本领域技术人员可能会对本说明书进行各种修改、改进和修正。该类修改、改进和修正在本说明书中被建议，所以该类修改、改进、修正仍属于本说明书示范实施例的精神和范围。 [0064] 同时，本说明书使用了特定词语来描述本说明书的实施例。如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本说明书至少一个实施例相关的某一特征、结构或特点。因此，应强调并注意的是，本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一个替代性实施例”并不一定是指同一实施例。此外，本说明书的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。 [0065] 此外，本领域技术人员可以理解，本说明书的各方面可以通过若干具有可专利性的种类或情况进行说明和描述，包括任何新的和有用的工序、机器、产品或物质的组合，或对他们的任何新的和有用的改进。相应地，本说明书的各个方面可以完全由硬件执行、可以完全由软件(包括固件、常驻软件、微码等)执行、也可以由硬件和软件组合执行。以上硬件或软件均可被称为“数据块”、“模块”、“引擎”、“单元”、“组件”或“系统”。此外，本说明书的各方面可能表现为位于一个或多个计算机可读介质中的计算机产品，该产品包括计算机可读程序编码。 [0066] 计算机存储介质可能包含一个内含有计算机程序编码的传播数据信号，例如在基带上或作为载波的一部分。该传播信号可能有多种表现形式，包括电磁形式、光形式等，或合适的组合形式。计算机存储介质可以是除计算机可读存储介质之外的任何计算机可读介质，该介质可以通过连接至一个指令执行系统、装置或设备以实现通讯、传播或传输供使用的程序。位于计算机存储介质上的程序编码可以通过任何合适的介质进行传播，包括无线电、电缆、光纤电缆、RF、或类似介质，或任何上述介质的组合。 [0067] 本说明书各部分操作所需的计算机程序编码可以用任意一种或多种程序语言编写，包括面向对象编程语言如Java、Scala、Smalltalk、Eiffel、JADE、Emerald、C++、C#、VB.NET、Python等，常规程序化编程语言如C语言、Visual Basic、Fortran 2003、Perl、COBOL 2002、PHP、ABAP，动态编程语言如Python、Ruby和Groovy，或其他编程语言等。该程序编码可以完全在用户计算机上运行、或作为独立的软件包在用户计算机上运行、或部分在用户计算机上运行部分在远程计算机运行、或完全在远程计算机或服务器上运行。在后种情况下，远程计算机可以通过任何网络形式与用户计算机连接，比如局域网(LAN)或广域网(WAN)，或连接至外部计算机(例如通过因特网)，或在云计算环境中，或作为服务使用如软件即服务(SaaS)。 [0068] 此外，除非权利要求中明确说明，本说明书所述处理元素和序列的顺序、数字字母的使用、或其他名称的使用，并非用于限定本说明书流程和方法的顺序。尽管上述披露中通过各种示例讨论了一些目前认为有用的发明实施例，但应当理解的是，该类细节仅起到说明的目的，附加的权利要求并不仅限于披露的实施例，相反，权利要求旨在覆盖所有符合本说明书实施例实质和范围的修正和等价组合。例如，虽然以上所描述的系统组件可以通过硬件设备实现，但是也可以只通过软件的解决方案得以实现，如在现有的服务器或移动设备上安装所描述的系统。 [0069] 同理，应当注意的是，为了简化本说明书披露的表述，从而帮助对一个或多个发明实施例的理解，前文对本说明书实施例的描述中，有时会将多种特征归并至一个实施例、附图或对其的描述中。但是，这种披露方法并不意味着本说明书对象所需要的特征比权利要求中提及的特征多。实际上，实施例的特征要少于上述披露的单个实施例的全部特征。 [0070] 针对本说明书引用的每个专利、专利申请、专利申请公开物和其他材料，如文章、书籍、说明书、出版物、文档等，特此将其全部内容并入本说明书作为参考。与本说明书内容不一致或产生冲突的申请历史文件除外，对本说明书权利要求最广范围有限制的文件(当前或之后附加于本说明书中的)也除外。需要说明的是，如果本说明书附属材料中的描述、定义、和/或术语的使用与本说明书所述内容有不一致或冲突的地方，以本说明书的描述、定义和/或术语的使用为准。 [0071] 最后，应当理解的是，本说明书中所述实施例仅用以说明本说明书实施例的原则。其他的变形也可能属于本说明书的范围。因此，作为示例而非限制，本说明书实施例的替代配置可视为与本说明书的教导一致。相应地，本说明书的实施例不仅限于本说明书明确介绍和描述的实施例。 [0072] 尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。 [0073] 显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。