一种银行系统的数据处理方法及装置专利检索-银化学元素和化合物专利检索查询-专利查询网

积极推动地理标志专门立法

2022-03-10 地理标志，立法，知识产权
保护知识产权是对创新最大的激励

2022-03-10 保护知识产权，创新，激励
谢商华：加快制定知识产权基本法

2022-03-10 知识产权基本法
擦亮“双奥之城”品牌

2022-03-10 双奥，知识产权
让冰雪运动“热”力全开

2022-03-10 冰雪运动，知识产权
携手共奋进　走好强国路

2022-03-10 强国，知识产权
坚持创新引领　方能稳中求进

2022-03-10 创新，稳中求进，知识产权
答好“两张卷” 奋进新征程

2022-03-10 知识产权
专家解读政府工作报告中的创新和知识产权相关部署

2022-03-10 政府工作报告，创新，知识产权
今年政府工作报告指出：加强知识产权保护和运用

2022-03-10 政府工作报告，知识产权保护

一种银行系统的数据处理方法及装置

阅读：961发布：2021-03-02

IPRDB可以提供一种银行系统的数据处理方法及装置专利检索，专利查询，专利分析的服务。并且本申请公开了一种银行系统的数据处理方法及装置，包括：在切换会计日期后，将联机子系统中的待处理数据导出至批量子系统中；批量子系统从所述待处理数据中提取获得T日数据；批量子系统对所述T日数据进行批量处理，得到处理结果数据；批量子系统将所述处理结果数据回写至所述联机子系统。所述银行系统的数据处理方法及装置，能够在切换会计日后，在7x24小时不间断联机交易下获取切日前一日静止数据用于批量处理，并在批量处理后将处理结果数据回写至联机子系统，该方法及装置在数据同步过程中不会给系统带来切日时间压力，具有很好的实际应用意义。，下面是一种银行系统的数据处理方法及装置专利的具体信息内容。

权利要求

1.一种银行系统的数据处理方法，其特征在于，包括：在切换会计日期后，将联机子系统中的待处理数据导出至批量子系统中；

批量子系统从所述待处理数据中提取获得T日数据；

批量子系统对所述T日数据进行批量处理，得到处理结果数据；

批量子系统将所述处理结果数据回写至所述联机子系统。

2.根据权利要求1所述的银行系统的数据处理方法，其特征在于，所述将联机子系统中的待处理数据导出至批量子系统中，包括：在切换会计日期后，将联机子系统中的待处理数据导出至批量子系统中的过程为切日窗口时期，在所述切日窗口时期中，若获取到交易数据，先将T日与所述交易数据相关的数据复制到影子表，再将所述交易数据更新至交易主表；

将所述联机子系统中的所述交易主表和所述影子表导出至批量子系统中。

3.根据权利要求2所述的银行系统的数据处理方法，其特征在于，所述在所述切日窗口时期中，若获取到交易数据，先将T日与所述交易数据相关的数据复制到影子表，再将所述交易数据更新至交易主表，包括：在所述切日窗口时期中，若第一表格的内容涉及修改，检查其上一次修改日期是否为T+1日；

若否，将所述第一表格的内容复制到影子表中后，再修改所述第一表格。

4.根据权利要求2所述的银行系统的数据处理方法，其特征在于，所述批量子系统从所述待处理数据中获得T日数据，包括：批量子系统将所述影子表中的数据覆盖至所述交易主表中对应数据上，获得包含T日静止数据的交易主表；

将所述T日静止数据确定为T日数据。

5.根据权利要求2所述的银行系统的数据处理方法，其特征在于，所述交易主表和所述影子表的结构相同。

6.根据权利要求1所述的银行系统的数据处理方法，其特征在于，所述将联机子系统中的待处理数据导出至批量子系统中，包括：通过异构数据源离线同步工具DataX以脏读模式从联机子系统中获取全量数据同步至批量子系统。

7.根据权利要求1所述的银行系统的数据处理方法，其特征在于，所述批量子系统通过日志交易将所述处理结果数据回写至所述联系子系统。

8.根据权利要求1所述的银行系统的数据处理方法，其特征在于，所述批量子系统将所述处理结果数据回写至所述联机子系统，包括：所述批量子系统直接将所述处理结果数据操作回写至所述联机子系统。

9.根据权利要求1所述的银行系统的数据处理方法，其特征在于，在所述批量子系统将所述处理结果数据回写至所述联机子系统后，还包括：停止批量处理，清理T日数据。

10.一种银行系统的数据处理装置，其特征在于，包括：数据导出模块，用于在切换会计日期后，将联机子系统中的待处理数据导出至批量子系统中；

数据获取模块，用于使批量子系统从所述待处理数据中提取获得T日数据；

数据处理模块，用于使批量子系统对所述T日数据进行批量处理，得到处理结果数据；

数据回写模块，用于使批量子系统将所述处理结果数据回写至所述联机子系统。

说明书全文

一种银行系统的数据处理方法及装置

技术领域

[0001] 本发明涉及数据处理技术，更具体的说，是涉及一种银行系统的数据处理方法及装置。

背景技术

[0002] 在银行的核心系统上做一笔联机交易，非常有可能需要对大量的后台数据库表信息进行更新，如果每笔联机交易都对该交易的所有涉及的表更新的同时，保持对客户的高响应性，以现有的计算机能力的是很不现实的。因此，在核心银行系统中通过联机交易+批量处理的方式解决这个难题，联机交易时仅记录交易的余额和一些交易的状态，在批量处理时，在进行账户的计息、计税、计提、费用以及账务等进行处理。

[0003] 典型的银行批量处理分为切夜、日终批量、切日三部分。然而在批量处理时，批量需要一个静止的T日日终数据进行加工，如果联机交易对数据进行了更新，则批量就无法获取T日准确的数据。例如，批量要进行计息处理，需要T日日终的余额进行计息，但是客户有可能会在凌晨进行存取款交易(联机交易)，这就会导致账户的余额发生变动，但是这个变动应该体现在T+1日，批量不能以这个变动后的数据进行T日的数据加工，也就是说批量需要一个T日纯净没有被T+1日的交易污染的数据。

[0004] 为了保证得到T日准确的数据，现有技术中，存在一种分库分表的方式，即系统数据分为日间数据库和夜间数据库，白天联机操作日间数据库，夜间批量处理日间数据库，联机操作夜间数据库，在批量处理完成后，将夜间数据库联机的交易在日间数据库进行Reposting。其中，Reposting即对于分库分表方式下的7x24小时系统，在批量期间，批量子系统处理日表，联机子系统处理夜表。在批量子系统完成批量后，为了联机子系统在夜表中的交易同步回日表的日间系统的操作。

[0005] 对于分库分表架构，T+1夜间进来的交易需要通过Reposting在日间重做一次，以保证夜表发送的交易数据同步到日表。然而，在一些特殊的日子，如商家活动促销的日子，如双十一，夜间交易会剧增，整个系统在Reposting阶段的压力也陡然增大，整个Reposting的批量时间也随之大大延长，可能对切日操作带来时间上的压力。

发明内容

[0006] 有鉴于此，本发明提供了一种银行系统的数据处理方法及装置，以克服现有技术中分库分表架构下采用Reposting进行数据同步而给系统带来切日时间压力的问题。

[0007] 为实现上述目的，本发明提供如下技术方案：

[0008] 一种银行系统的数据处理方法，包括：

[0009] 在切换会计日期后，将联机子系统中的待处理数据导出至批量子系统中；

[0010] 批量子系统从所述待处理数据中提取获得T日数据；

[0011] 批量子系统对所述T日数据进行批量处理，得到处理结果数据；

[0012] 批量子系统将所述处理结果数据回写至所述联机子系统。

[0013] 可选的，所述将联机子系统中的待处理数据导出至批量子系统中，包括：

[0014] 在切换会计日期后，将联机子系统中的待处理数据导出至批量子系统中的过程为切日窗口时期，在所述切日窗口时期中，若获取到交易数据，先将T日与所述交易数据相关的数据复制到影子表，再将所述交易数据更新至交易主表；

[0015] 将所述联机子系统中的所述交易主表和所述影子表导出至批量子系统中。

[0016] 可选的，所述在所述切日窗口时期中，若获取到交易数据，先将T日与所述交易数据相关的数据复制到影子表，再将所述交易数据更新至交易主表，包括：

[0017] 在所述切日窗口时期中，若第一表格的内容涉及修改，检查其上一次修改日期是否为T+1日；

[0018] 若否，将所述第一表格的内容复制到影子表中后，再修改所述第一表格。

[0019] 可选的，所述批量子系统从所述待处理数据中获得T日数据，包括：

[0020] 批量子系统将所述影子表中的数据覆盖至所述交易主表中对应数据上，获得包含T日静止数据的交易主表；

[0021] 将所述T日静止数据确定为T日数据。

[0022] 可选的，所述交易主表和所述影子表的结构相同。

[0023] 可选的，所述将联机子系统中的待处理数据导出至批量子系统中，包括：

[0024] 通过异构数据源离线同步工具DataX以脏读模式从联机子系统中获取全量数据同步至批量子系统。

[0025] 可选的，所述批量子系统通过日志交易将所述处理结果数据回写至所述联系子系统。

[0026] 可选的，所述批量子系统将所述处理结果数据回写至所述联机子系统，包括：

[0027] 所述批量子系统直接将所述处理结果数据操作回写至所述联机子系统。

[0028] 可选的，在所述批量子系统将所述处理结果数据回写至所述联机子系统后，还包括：

[0029] 停止批量处理，清理T日数据。

[0030] 一种银行系统的数据处理装置，包括：

[0031] 数据导出模块，用于在切换会计日期后，将联机子系统中的待处理数据导出至批量子系统中；

[0032] 数据获取模块，用于使批量子系统从所述待处理数据中提取获得T日数据；

[0033] 数据处理模块，用于使批量子系统对所述T日数据进行批量处理，得到处理结果数据；

[0034] 数据回写模块，用于使批量子系统将所述处理结果数据回写至所述联机子系统。

[0035] 经由上述的技术方案可知，与现有技术相比，本发明实施例公开了一种银行系统的数据处理方法及装置，包括：在切换会计日期后，将联机子系统中的待处理数据导出至批量子系统中；批量子系统从所述待处理数据中提取获得T日数据；批量子系统对所述T日数据进行批量处理，得到处理结果数据；批量子系统将所述处理结果数据回写至所述联机子系统。所述银行系统的数据处理方法及装置，能够在切换会计日后，在7x24小时不间断联机交易下获取切日前一日静止数据用于批量处理，并在批量处理后将处理结果数据回写至联机子系统，该方法及装置在数据同步过程中不会给系统带来切日时间压力，具有很好的实际应用意义。

附图说明

[0036] 为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

[0037] 图1为本发明实施例公开的一种银行系统的数据处理方法流程图；

[0038] 图2为本发明实施例公开的导出待处理数据的流程图；

[0039] 图3为本发明实施例公开的获得T日数据的流程图；

[0040] 图4为本发明实施例公开的银行系统的数据处理方法的具体实现流程图；

[0041] 图5为本发明实施例公开的切日窗口时期主表修改逻辑示意图；

[0042] 图6为本发明实施例公开的一种银行系统的数据处理装置的结构示意图；

[0043] 图7为本发明实施例公开的数据导出模块的结构示意图；

[0044] 图8为本发明实施例公开的数据获取模块的结构示意图。

具体实施方式

[0045] 为了引用和清楚起见，下文中使用的技术名词的说明、简写或缩写总结如下：

[0046] 7x24小时：随着技术和业务的迅猛发展，业务处理不再受时间、空间限制，要求核心银行系统提供全天候联机服务，因此需要核心银行系统提供7*24小时联机交易服务。

[0047] Reposting：对于分库分表方式下的7x24小时系统，在批量期间，批量子系统处理日表，联机子系统处理夜表。在批量子系统完成批量后，为了联机子系统在夜表中的交易同步回日表的日间系统的操作叫做Reposting。

[0048] DJ：Day Journal(简称DJ)为内部批量账务处理子系统，主要用于处理系统内部账务处理。Day Journal可以在日始处理中运行，或由手工在日间系统发起，通过调用后台相应的联机交易模块完成数据的处理。处理不成功的交易在日终处理时重新处理，并提供处理状态报告。

[0049] 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

[0050] 图1为本发明实施例公开的一种银行系统的数据处理方法流程图，参见图1所示，银行系统的数据处理方法可以包括：

[0051] 步骤101：在切换会计日期后，将联机子系统中的待处理数据导出至批量子系统中。

[0052] 会计日期一般在每天的凌晨切换，每天在切换会计日期后，例如，在T->T+1切日后，由于新的业务数据都被划分为T+1日的数据，因此T日的业务数据已经确定且不会再发生变化，这时可以从联机子系统中将已经确定的T日数据(即所述待处理数据)导出至批量处理子系统，以使所述批量处理子系统按照预设的处理流程对所述T日数据进行对应的批量处理。

[0053] 步骤102：批量子系统从所述待处理数据中提取获得T日数据。

[0054] 所述待处理数据中可能包括有用的数据，也包括无用的或者不准确的数据，因此，在从联机子系统中获取到所有的待处理数据后，需要首先对所述待处理数据进行一些处理，以获取准确的T日数据，基于准确的T日数据进行批量处理，才能够得到准确的处理数据。

[0055] 其中，对待处理数据进行一些处理以得到准确的T日数据过程中的具体处理可以根据待处理数据中包括的数据内容以及数据内容类型进行对应配置，在下面的实施例中，将对得到准确的T日数据的具体实现做详细介绍。

[0056] 步骤103：批量子系统对所述T日数据进行批量处理，得到处理结果数据。

[0057] 所述批量子系统对所述T日数据进行的批量处理，是根据银行实际业务需要对特定数据进行处理以得到目标数据的过程，由于银行业务数据量巨大，且一些数据的处理流程相同，因此对数据的处理为批量处理。

[0058] 步骤104：批量子系统将所述处理结果数据回写至所述联机子系统。

[0059] 当将T日的数据批量处理完成后，可以将处理得到的结果数据更新至所述联机子系统，以使得后续相关业务数据可以在所述结果数据的基础上进行，保证银行业务的持续顺利开展。

[0060] 本实施例中，所述银行系统的数据处理方法，能够在切换会计日后，在7x24小时不间断联机交易下获取切日前一日静止数据用于批量处理，并在批量处理后将处理结果数据回写至联机子系统，该方法取消了分库分表方案所必需的Reposting阶段，降低了Reposting阶段给系统带来的切日时间压力，具有很好的实际应用意义。

[0061] 上述实施例中，所述将联机子系统中的待处理数据导出至批量子系统的具体过程可以参见图2，图2为本发明实施例公开的导出待处理数据的流程图，如图2所示，可以包括：

[0062] 步骤201：在切日窗口时期中，若获取到交易数据，先将T日与所述交易数据相关的数据复制到影子表，再将所述交易数据更新至交易主表。

[0063] 其中，在切换会计日期后，将联机子系统中的待处理数据导出至批量子系统中的过程为切日窗口时期。

[0064] 将T日与所述交易数据相关的数据复制到影子表，再将所述交易数据更新至交易主表的过程可以包括：在所述切日窗口时期中，若第一表格的内容涉及修改，检查其上一次修改日期是否为T+1日；若否，将所述第一表格的内容复制到影子表中后，再修改所述第一表格；若是，则直接修改所述第一表格。即在切日时间窗口时期中，在切日后的第一笔联机交易数据产生时，先将切日前完整准确的T日的数据复制到一个影子表中，记录与所述第一笔联机交易数据相关的数据在T日的准确数据，然后再将所述第一笔联机交易数据更新至交易主表。

[0065] 步骤202：将所述联机子系统中的所述交易主表和所述影子表导出至批量子系统中。

[0066] 由于在切日窗口时期中，并不是所有用户的业务数据都会有更新，因此只有少部分用户的T日数据会复制在影子表中，因此，在需要对所有T日数据进行批量处理时，需要将所述联机子系统中的所述交易主表和所述影子表都导出至批量子系统中。

[0067] 基于上述内容，所述批量子系统从所述待处理数据中获得T日数据的具体过程可以参见图3，图3为本发明实施例公开的获得T日数据的流程图，如图3所示，可以包括：

[0068] 步骤301：批量子系统将所述影子表中的数据覆盖至所述交易主表中对应数据上，获得包含T日静止数据的交易主表。

[0069] 由于影子表中的数据，是T日日终时的一些数据，而交易主表中与所述影子表中数据相关的数据已经是进入T+1日后更新过的数据，因此，在需要对T日数据进行批量处理时，需要先获取准确的T日日终时的所有数据，因此，需要将所述影子表中的数据覆盖至所述交易主表中对应数据上。例如，所述交易主表中共包括1万个表格数据，所述影子表中包括100个表格数据，则在获得包含T日静止数据的交易主表过程中，需要将影子表中100个表格数据替换交易主表中与100个表格对应的100个表格。

[0070] 为了简化操作和处理，可以将所述交易主表和所述影子表配置为相同的数据结构。

[0071] 步骤302：将所述T日静止数据确定为T日数据。

[0072] 上述实施例详细介绍了导出待处理数据以及从待处理数据中提取获得T日数据的详细过程，有利于更好的了解实施银行系统的数据处理方法，在不会给系统带来切日时间压力的前提下实现7x24小时不间断联机交易。

[0073] 上述实施例中，所述将联机子系统中的待处理数据导出至批量子系统中，可以包括：通过异构数据源离线同步工具DataX以脏读模式从联机子系统中获取全量数据同步至批量子系统。脏读模式是即使数据库对该表进行加锁了，也对数据进行读取，读取出来的数据可能是旧的数据。交易主表和影子表的数据同步方案由于使用的是脏读模式，所以即使在数据同步时，也不影响联机交易，使得联机交易可以继续操作联机子系统或联机数据库，与此同时批量子系统也能获取到所需的T日日终数据用于批量加工。

[0074] 上述实施例中，所述批量子系统将所述处理结果数据回写至所述联机子系统，可以包括：所述批量子系统直接将所述处理结果数据操作回写至所述联机子系统；或，所述批量子系统通过日志交易将所述处理结果数据回写至所述联系子系统。

[0075] 在其他的实施例中，银行系统的数据处理方法在所述批量子系统将所述处理结果数据回写至所述联机子系统后，还可以包括停止批量处理，清理T日数据的步骤。在将处理结果数据回写至联机子系统后，批量子系统中的T日数据已经使用完毕，在没有其他用途的情况下，可以将T日数据清理，以释放系统资源。

[0076] 图4为本发明实施例公开的银行系统的数据处理方法的具体实现流程图，其中所述批量交易子系统即批量子系统，所述联机交易子系统即联机子系统。可结合图4理解下述内容。

[0077] 在T->T+1切日后窗口时间里，如果一个表的内容涉及修改，检查其上一次修改日期，如果上一次修改日期不是T+1日，则将修改前的内容先复制到对应影子表中，再修改当前主表。

[0078] 本实施例可实现7X24小时不间断联机服务，可包括以下三个阶段：

[0079] 1、系统处于T日联机正常模式，这个时候进来的只读查询交易访问联机读的数据库，金融交易需要update数据库表的访问联机写数据库，交易流水记录对应为T日的记录。

[0080] 2、T日日终后，系统直接切换会计日到第二天。此时，对于联机的交易来讲，已经进入第二天(T+1)，发生的交易仍然按照上面的模式，只读查询交易访问联机读数据库，金融交易访问联机写数据库，但是交易流水记录对应为T+1日的流水，但在T+1发生的第一笔交易，需要先把上笔T日的数据写到影子表，然后再更新主表的数据。对于批量处理的T日完整数据，可以根据影子表的数据再加上主表T日的数据获取。

[0081] 这个阶段对于联机来讲，已经是T+1日，发生的交易视为T+1日的交易。但对于批量处理来讲，处理的数据仍然是T日的数据。

[0082] 3、T日批量处理完后，系统状态更新为联机正常模式，批量也开始进入第二天，部分数据通过DJ发起更新数据表。

[0083] 在切日后，通过DataX以脏读模式获取Oracle(备机)全量数据，获取数据表需要按先主表后影子表的顺序进行。数据同步完成后即可结束切日窗口时期，这样窗口时间会很短，估计不会超过半小时，这样影子表中的数据也很少。批量首先将影子表合并到主表中，后续主批就只操作主表即可(需要过滤掉T+1新增的数据)，简化了后续的操作。

[0084] 数据从联机只读数据库同步到批量数据库后，这个时候进入T日的批量时间窗口(即切日窗口时期)，批量在批量子系统的数据库进行批量处理，处理完后再把批量处理的数据表回写到联机数据库。

[0085] 为减轻DJ的压力，避免所有的数据都通过DJ的方式更新到联机写数据库，对具体的回写情况进行了以下六种情况的分类处理。

[0086] 1、数据栏位只是批量更新，联机不更新，这种方式批量业务处理完直接更新联机写的数据库表；

[0087] 2、数据栏位只是联机使用，批量只读，但需要在批量的时间窗口进行更新，比如会计日，系统状态等；

[0088] 3、数据栏位联机，批量都会更新，但是最终数据以T+1联机交易的更新为准，这种情况批量在更新的时候需要根据数据的最后修改日期做判断，如果日期大于T日，批量最后结果不更新到联机写数据库；

[0089] 4、数据栏位联机，批量都会更新，但是最终数据以T日批量处理的结果为准，这种情况批量业务处理完也是直接更新联机写的数据库；

[0090] 5、数据栏位联机，批量都会更新，但是联机T+1交易处理结果需要依赖T日批量处理完的数据(例如倒退日交易)，这种情况为保证最终结果的准确，如果联机能自行完成所需部分的数据加工，则由联机在做T+1日交易前先进行该账户的数据加工，再进行联机交易，并在处理数据表的时候在相应的记录先打标，批量回写时将不再对这些数据进行回写，以联机当时计算的结果为准；

[0091] 6、联机、批量交易数据无先后顺序，按照时间优先进行更新的，则通过DJ方式完成批量数据的回写到联机数据库，如存款批量结息，转不动户等。

[0092] 切日后批量窗口时间(切日窗口时期)内对存在影子表的主表进行修改时按图5所示逻辑处理。

[0093] 联机系统按照业务工作日期不间断运行，分为联机交易阶段、日期切换阶段(或系统维护阶段)。联机系统绝大部分时间处于联机交易阶段，响应不同渠道发起的交易，为系统主要的工作阶段；日期切换阶段为系统的一个数据静止点，在将会计日期切换为下一日后，系统开始将联机系统的数据同步到批量系统中，为批量系统提供批量数据，此时，联机系统对存在影子表的主表做更新操作时需要同步考虑影子表的处理。

[0094] 批量系统分为批量准备阶段、批量处理阶段、批量数据输出阶段。批量准备阶段为批量处理作准备，清理上一工作日批量产生的日志、临时文件等，在联机系统日切之前完成；批量处理阶段为系统进行批量加工处理阶段，在联机系统日切之后进行；批量数据输出阶段是将批量加工处理产生的数据输出到相应系统中的阶段，在批量处理完成之后进行。

[0095] 对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。

[0096] 上述本发明公开的实施例中详细描述了方法，对于本发明的方法可采用多种形式的装置实现，因此本发明还公开了一种装置，下面给出具体的实施例进行详细说明。

[0097] 图6为本发明实施例公开的一种银行系统的数据处理装置的结构示意图，参见图6所示，银行系统的数据处理装置60可以包括：

[0098] 数据导出模块601，用于在切换会计日期后，将联机子系统中的待处理数据导出至批量子系统中。

[0099] 会计日期一般在每天的凌晨切换，每天在切换会计日期后，例如，在T->T+1切日后，由于新的业务数据都被划分为T+1日的数据，因此T日的业务数据已经确定且不会再发生变化，这时可以从联机子系统中将已经确定的T日数据(即所述待处理数据)导出至批量处理子系统，以使所述批量处理子系统按照预设的处理流程对所述T日数据进行对应的批量处理。

[0100] 数据获取模块602，用于使批量子系统从所述待处理数据中提取获得T日数据。

[0101] 所述待处理数据中可能包括有用的数据，也包括无用的或者不准确的数据，因此，在从联机子系统中获取到所有的待处理数据后，需要首先对所述待处理数据进行一些处理，以获取准确的T日数据，基于准确的T日数据进行批量处理，才能够得到准确的处理数据。

[0102] 数据处理模块603，用于使批量子系统对所述T日数据进行批量处理，得到处理结果数据。

[0103] 所述批量子系统对所述T日数据进行的批量处理，是根据银行实际业务需要对特定数据进行处理以得到目标数据的过程，由于银行业务数据量巨大，且一些数据的处理流程相同，因此对数据的处理为批量处理。

[0104] 数据回写模块604，用于使批量子系统将所述处理结果数据回写至所述联机子系统。

[0105] 当将T日的数据批量处理完成后，可以将处理得到的结果数据更新至所述联机子系统，以使得后续相关业务数据可以在所述结果数据的基础上进行，保证银行业务的持续顺利开展。

[0106] 本实施例中，所述银行系统的数据处理装置，能够在切换会计日后，在7x24小时不间断联机交易下获取切日前一日静止数据用于批量处理，并在批量处理后将处理结果数据回写至联机子系统，该装置取消了分库分表方案所必需的Reposting阶段，降低了Reposting阶段给系统带来的切日时间压力，具有很好的实际应用意义。

[0107] 图7为本发明实施例公开的数据导出模块的结构示意图，如图7所示，数据导出模块601可以包括：

[0108] 数据复制模块701，用于在切日窗口时期中，若获取到交易数据，先将T日与所述交易数据相关的数据复制到影子表，再将所述交易数据更新至交易主表。

[0109] 其中，在切换会计日期后，将联机子系统中的待处理数据导出至批量子系统中的过程为切日窗口时期。

[0110] 将T日与所述交易数据相关的数据复制到影子表，再将所述交易数据更新至交易主表的过程可以包括：在所述切日窗口时期中，若第一表格的内容涉及修改，检查其上一次修改日期是否为T+1日；若否，将所述第一表格的内容复制到影子表中后，再修改所述第一表格；若是，则直接修改所述第一表格。即在切日时间窗口时期中，在切日后的第一笔联机交易数据产生时，先将切日前完整准确的T日的数据复制到一个影子表中，记录与所述第一笔联机交易数据相关的数据在T日的准确数据，然后再将所述第一笔联机交易数据更新至交易主表。

[0111] 数据导出子模块702，用于将所述联机子系统中的所述交易主表和所述影子表导出至批量子系统中。

[0112] 由于在切日窗口时期中，并不是所有用户的业务数据都会有更新，因此只有少部分用户的T日数据会复制在影子表中，因此，在需要对所有T日数据进行批量处理时，需要将所述联机子系统中的所述交易主表和所述影子表都导出至批量子系统中。

[0113] 基于上述内容，所述数据获取模块的具体结构可参见图8，如图8所示，数据获取模块602可以包括：

[0114] 数据合并模块801，用于控制批量子系统将所述影子表中的数据覆盖至所述交易主表中对应数据上，获得包含T日静止数据的交易主表。

[0115] 由于影子表中的数据，是T日日终时的一些数据，而交易主表中与所述影子表中数据相关的数据已经是进入T+1日后更新过的数据，因此，在需要对T日数据进行批量处理时，需要先获取准确的T日日终时的所有数据，因此，需要将所述影子表中的数据覆盖至所述交易主表中对应数据上。

[0116] 为了简化操作和处理，可以将所述交易主表和所述影子表配置为相同的数据结构。

[0117] 数据确定模块802，用于将所述T日静止数据确定为T日数据。

[0118] 上述实施例详细介绍了导出待处理数据以及从待处理数据中提取获得T日数据的详细过程，有利于更好的了解实施银行系统的数据处理方法，在不会给系统带来切日时间压力的前提下实现7x24小时不间断联机交易。

[0119] 上述实施例中，所述数据导出模块具体可用于：通过异构数据源离线同步工具DataX以脏读模式从联机子系统中获取全量数据同步至批量子系统。交易主表和影子表的数据同步方案由于使用的是脏读模式，所以即使在数据同步时，也不影响联机交易，使得联机交易可以继续操作联机子系统或联机数据库，与此同时批量子系统也能获取到所需的T日日终数据用于批量加工。

[0120] 上述实施例中，所述数据回写模块604具体可用于：控制所述批量子系统直接将所述处理结果数据操作回写至所述联机子系统；或，所述批量子系统通过日志交易将所述处理结果数据回写至所述联系子系统。

[0121] 在其他的实施例中，银行系统的数据处理装置还可以包括数据清理模块，用于在所述数据回写模块使批量子系统将所述处理结果数据回写至所述联机子系统后，控制停止批量处理，清理T日数据的步骤。在将处理结果数据回写至联机子系统后，批量子系统中的T日数据已经使用完毕，在没有其他用途的情况下，可以将T日数据清理，以释放系统资源。

[0122] 本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

[0123] 还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

[0124] 结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

[0125] 对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

标题	发布/更新时间	阅读量
银杏牙膏-专利编号CN1179305A	2020-05-11	279
银杏枕-专利编号CN101703353A	2020-05-11	389
银链制备-专利编号CN1890039A	2020-05-11	307
银行卡-专利编号CN201892965U	2020-05-12	406
煎银炉-专利编号CN201581120U	2020-05-13	416
收银箱-专利编号CN201845385U	2020-05-13	895
银杏枕-专利编号CN201499932U	2020-05-12	949
银行卡-专利编号CN201191410Y	2020-05-13	875
收银箱-专利编号CN201838096U	2020-05-12	510
银亭门-专利编号CN205047099U	2020-05-11	1020

一种银行系统的数据处理方法及装置

一种银行系统的数据处理方法及装置

技术领域

背景技术

发明内容

附图说明

具体实施方式

IPRDB

热门服务

关于我们

友情链接

联系方式