本发明涉及一种实时数据处理方法和装置，所述实时数据处理方法包括：获取实时数据；生成所述实时数据的多维度明细数据，及计算所述实时数据的至少一个分维度数据的统计结果；分别存储所述实时数据的多维度明细数据及所述至少一个分维度数据的统计结果。本发明提供的实时数据处理方法及装置能够降低实时数据处理对系统性能的消耗，改善系统运行环境。
1.一种实时数据处理方法，其特征在于，所述方法包括：
生成所述实时数据的多维度明细数据，及计算所述实时数据的至少一个分维度数据的统计结果，所述分维度为所述多维度之一；其中，所述计算所述实时数据的至少一个分维度数据的统计结果的步骤包含：调用或获取已存储的所述至少一个分维度数据的统计结果；
计算已存储的所述至少一个分维度数据的统计结果与本次实时数据的所述至少一分维度数据，更新所述至少一个分维度数据的统计结果；其中，生成所述实时数据的多维度明细数据包括：根据不同的需求，建立所述实时数据的关联关系，生成所述实时数据的多维度明细数据；
分别存储所述实时数据的多维度明细数据及所述至少一个分维度数据的统计结果。
2.根据权利要求1所述的实时数据处理方法，其特征在于，所述获取实时数据的步骤进一步包括：获取用户输入的实时数据或获取网站基于用户行为自生成的实时数据。
3.根据权利要求1所述的实时数据处理方法，其特征在于，生成所述实时数据的多维度明细数据及计算所述实时数据的至少一个分维度数据的统计结果被并行执行。
4.根据权利要求1所述的实时数据处理方法，其特征在于，所述计算所述实时数据的至少一个分维度数据的统计结果的步骤包含：调用或获取已存储的所述至少一个分维度数据的统计结果；
计算已存储的所述至少一个分维度数据的统计结果与本次实时数据的所述至少一分维度数据，更新所述至少一个分维度数据的统计结果。
5.根据权利要求1所述的实时数据处理方法，其特征在于，计算所述实时数据的至少一个分维度数据的统计结果的步骤为求和运算。
6.根据权利要求1所述的实时数据处理方法，其特征在于，所述实时数据处理方法进一步包括：页面实时展示所述实时数据的多维度明细数据表及所述更新的至少一个分维度数据的统计结果或实时推送所述实时数据的多维度明细数据表及所述更新的至少一个分维度数据的统计结果至需求用户。
7.根据权利要求1所述的实时数据处理方法，其特征在于，所述实时数据为业务操作记录，其包含的分维度为业务对象维度、业务执行方维度、具体行为维度。
8.根据权利要求7所述的实时数据处理方法，其特征在于，所述业务操作记录为交易记录，其包含的分维度为：商品信息、买家信息、购买数量维度、发货地点信息、支付信息。
9.根据权利要求7所述的实时数据处理方法，其特征在于，所述业务操作记录为用户访问记录，其分维度包含用户名称、用户浏览数量、用户点击数量。
10.一种实时数据处理装置，其特征在于，所述实时数据处理装置包括：
后台服务器系统，获取实时数据，生成所述实时数据的多维度明细数据，及计算所述实时数据的至少一个分维度数据的统计结果；所述后台服务器系统调用或获取已存储的所述至少一个分维度数据的统计结果；计算已存储的所述至少一个分维度数据的统计结果与本次实时数据的所述至少一分维度数据，更新所述至少一个分维度数据的统计结果；其中，生成所述实时数据的多维度明细数据包括：根据不同的需求，建立所述实时数据的关联关系，生成所述实时数据的多维度明细数据；
多维度明细数据库，存储所述实时数据的多维度明细数据；
至少一分维度数据库，存储所述实时数据的所述至少一分维度数据的统计结果。
11.根据权利要求10所述的实时数据处理装置，其特征在于，所述实时数据处理装置进一步包括业务系统，用于运行业务操作并产生与所述业务操作相关的实时数据。
12.根据权利要求11所述的实时数据处理装置，其特征在于，所述业务系统包括：电子商务业务系统、社交网络业务系统及应用分发平台系统。
13.根据权利要求10所述的实时数据处理装置，其特征在于，所述实时数据处理装置进一步包括：展示平台系统，用于展示或推送所述实时数据的多维度明细数据及所述至少一分维度数据的统计结果。
实时数据处理方法及装置
技术领域
[0001] 本发明涉及网络技术领域，尤其涉及一种实时数据处理的方法及装置。
背景技术
[0002] 随着计算机网络技术的不断发展，电子商务在全球各地广泛开展，基于浏览器或者应用程序的应用方式，买卖双方经由计算机网络进行各种商贸活动，因此，实时的交易数据的处理与展示是电子商务中必不可少的环节。然而，随着电子商务网站规模及经营范围的多样化，高并发的交易数据的处理是一个常见的现象，并且高并发的交易数据处理对网络及系统的处理能力及负载能力要求较高，现有的一种实时处理高并发的交易数据的数据处理方法易影响系统性能，造成系统卡顿而严重影响用户体验，而另一种延迟处理高并发的交易数据的数据处理方法，将造成数据展示的延误，交易双方无法获得及时的交易数据，同样影响系统的使用及用户体验，因此，本领域一般技术人员急需一种能减少对系统性能的影响的实时数据处理方法及装置。
发明内容
[0003] 本发明的目的是提供一种实时数据处理方法及装置，能够减少实时数据处理对系统性能的影响。
[0004] 本发明一个实施方式的实时数据处理方法包括：获取实时数据；生成所述实时数据的多维度明细数据，及计算所述实时数据的至少一个分维度数据的统计结果；分别存储所述实时数据的多维度明细数据及所述至少一个分维度数据的统计结果。
[0005] 本发明提供的另一个实施方式的一种实时数据处理装置，所述实时数据处理装置包括：后台服务器系统，获取实时数据，生成所述实时数据的多维度明细数据，及计算所述实时数据的至少一个分维度数据的统计结果；多维度明细数据库，存储所述实时数据的多维度明细数据；至少一分维度数据库，存储所述实时数据的所述至少一分维度数据的统计结果。
[0006] 本发明提供的实时数据处理方法及装置通过分别对实时数据的分维度数据进行统计来对实时数据进行处理，降低了实时数据处理对系统性能的消耗。
附图说明
[0007] 图1是本实施例提供的实时数据处理方法的流程图；
[0008] 图2为依据本发明实施例的实时数据处理装置的架构示意图。
具体实施方式
[0009] 下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
[0010] 本发明提供的实时数据处理方法，适用于网络技术应用中各种高并发数据的统计与展示。主要用于对网络技术中的业务系统中产生的实时数据进行处理。如电子商务领域的商品明细信息的分维度统计；网页的用户访问信息中的分维度统计；社交网络中的各种应用信息统计；应用分发平台的信息应用分发信息等。在本发明的实施例中以对电子商务中的商品明细信息数据的数据处理为例，对本发明提出的实时数据处理方法及装置进行说明。
[0011] 图1是本实施例提供的实时数据处理方法的流程图，如图1所示，本发明的实时数据处理方法包括：
[0012] 步骤S101、获取实时数据。
[0013] 所述实时数据自业务系统获取。在本申请中，“实时数据”的含义为，自业务系统即时获取的数据。以业务系统为电子商务网站举例如下：用户通过电子终端，如电脑或者移动终端于电子商务网站执行一次业务操作，如商品购买操作，电子商务网站传送所述商品购买操作所产生的实时数据至后台服务器。
[0014] 所述实时数据为业务操作对象的记录数据，也就是对每一次业务操作对象的记录数据的即时传输及处理。如上述举例，当所述业务操作的对象为商品。举例来说，商品购买操作产生的实时数据包含商品名目(ID)、买家信息、卖家信息、购买数量、购买时间、收货地点、付款方式等。具体举例如下：买家：A、卖家X、商品ID：001、成交数：3、成交时间：2015.3.5、收货地点：广州、付款方式：支付宝。且本举例持续应用于后续步骤的举例中。
[0015] 步骤S102、生成所述实时数据的多维度明细数据，及计算所述实时数据的至少一个分维度数据的统计结果。后台服务器对所述业务系统的实时数据进行处理。依据后台服务器所属类别的不同，其对业务系统的实时数据处理的方式也存在差异。如电子商务网站对应的后台服务器与社交网站的后台服务器对数据的处理显然存在不同的需求。承接步骤S101中的举例，对本步骤的详细说明如下：
[0016] 所述后台服务器将所述实时数据依据电子商务网站展示商品信息需求，建立所述实时数据之间的关联，生成所述实时数据的多维度明细数据，如成交记录明细。成交记录明细的举例如表1所示：
[0017]商品ID 买家 成交数量 成交时间
001 A 3 2015.3.5
[0018] 表1
[0019] 后台服务器还对所述实时数据进行分维度的处理，计算至少一个分维度数据的统计结果。如商品分维度统计：若所述商品购买操作为所述商品的首次被购买，则商品分维度统计表举例如表2所示：
[0020]商品ID 商品被购买的统计数
001 3
[0021] 表2
[0022] 若所述商品购买操作为所述商品的非首次被购买，则可对商品维度进行增量统计操作，如通过调用或者接口方式，从商品维度数据库获取已存储的商品维度的统计数据，对所述已存储的商品维度的统计数据执行增量统计。其中，所述已存储的商品维度的统计数据举例如表3所示，实时数据的商品维度数据的增量统计处理举例如表4所述：
[0023] 商品ID 商品被购买的统计数
[0024] 001 10
[0025] 表3
[0026] 商品ID 商品被购买的统计数001 13
[0027] 表4
[0028] 由表4可知，商品维度的统计数据已经更新为13，为所述已存储的统计结果(10)与本次商品维度的数量(3)之和。
[0029] 再以买家维度统计数据举例说明如下：
[0030] 若所述商品购买操作为所述商品的首次被购买，则买家维度统计表举例如表5所示：
[0031]买家 商品ID 累计购买数
A 001 3
[0032] 表5
[0033] 若所述商品购买操作所述商品的非首次被购买，则可对买家维度进行增量统计操作，如通过调用或者接口方式，从买家维度数据库获取已存储的买家维度的统计数据，对所述已存储的买家维度的统计数据执行增量统计。其中，所述已存储的买家维度的统计数据举例如表6所示，实时数据的买家维度数据的增量统计处理举例如表7所述：
[0034] 买家 商品ID 累计购买数C 001 10
A 001 2
[0035] 表6
[0036] 买家 商品ID 累计购买数C 001 10
[0037] A 001 5
[0038] 表7
[0039] 由表7可知，买家维度的数据统计，当出现新买家时，新增一条买家记录，当为已有买家时，将所述已有买家的新增购买量直接累计购买数，如举例中的买家A的累积购买数(5)为已存储的买家维度的累计购买数(2)+本次买家A的新增购买数(3)之和。
[0040] 于步骤S102，分别进行了实时数据的明细记录及分维度数据的统计，由于实时数据的明细记录并不会消耗系统性能，而分维度数据统计也仅需对单笔的实时数据进行统计运算，因此，分维度数据统计运算的系统消耗也较少。
[0041] S103、分别存储所述实时数据的多维度明细数据表及所述至少一个分维度数据的统计结果。
[0042] 将步骤S102生成的所述实时数据的多维度明细数据存储至多维度明细数据库，即更新已存储的多维度明细数据。具体举例如表8所示：
[0043]商品ID 买家 成交数量 成交时间
005 B 6 2014.11.1
001 C 10 2015.1.1
001 A 2 2015.2.8
001 A 3 2015.3.5
[0044] 表8
[0045] 将步骤S102所计算的所述实时数据的至少一个分维度数据的结果存储至分维度数据库。举例如下，将步骤S102中增量统计的表格4和表格7分别存储至商品维度数据库及买家维度数据库。完成所述实时数据的处理。
[0046] 由于后台服务器进行实时数据处理的需求一般来源于业务系统对数据的展示需求，因此，本发明的实时数据处理方法还可以包括步骤S104，即于业务系统的页面实时展示所述实时数据的多维度明细数据表及所述至少一个分维度数据的统计结果或实时推送所述实时数据的多维度明细数据表及所述至少一个分维度数据的统计结果至业务系统的需求用户。
[0047] 由上述举例说明可知，随着高并发应用场景的不断增加，相较于现有技术仅存储多维度明细数据，并且于多维度明细数据库中进行所需分维度数据的统计计算的方法，本发明所提出的实时数据处理方法，由于使用冗余数据的处理原理，在后台服务器端直接对单笔实时数据的分维度进行了统计计算，并且分别存储了分维度统计数据，统计计算对于系统性能的消耗大量减少，保证了高并发应用场景下系统有效的运转，改善了用户体验。
[0048] 本发明的实时数据处理方法并不限于上述实时例中对电子商务网站的购买操作所产生的实时数据的处理。还可以扩展应用至其他业务系统。如社交网站上，某条微博、微信或者信息的转发量、评论量等实时数据的统计与展示。比如在应用分发平台系统上，对某一应用下载次数、下载用户、虚拟币的交易等等实时数据的统计与展示。本领域的一般技术人员通过上述具体举例的描述，可以应用本发明的实时数据处理方法对所需的分维度数据分别进行统计并存储，以减少系统性能的消耗。上述分维度统计计算的方式也不限于增量统计计算，而是依据业务系统的需求进行统计计算，如业务系统需求为库存量的统计，则相应的统计计算为减量计算。若业务需求为综合结果，则统计计算可应用相应的权重计算公式计算。
[0049] 图2为依据本发明实施例的实时数据处理装置100的架构示意图。所述实时例中的实时数据处理装置100包含终端101、业务系统102、后台服务器103、明细数据库104、分维度数据库105、106及展示平台处理器107。其中，
[0050] 终端101可为移动终端、台式电脑或者其他可经由互联网技术接入所述业务系统的电子设备。
[0051] 业务系统102为保证特定业务正常运行的系统。一般来说，常见的业务系统可以分为电子商务型业务系统、社交类业务系统及平台型业务系统。相应的，于上述业务系统上执行的业务操作也一般可以分为三种类型：交易型业务操作、用户访问型业务操作及平台分发型业务操作。
[0052] 后台服务器103为响应业务系统的需求，为业务操作所需的信息及数据进行处理。
[0053] 明细数据库104、分维度数据库105及106这三个业务数据库分别用于存储后台服务器103处理生成的数据结果。可以依据业务系统102的需求配置数据库的数量。本实施例中所列的数据库类型与数量，仅作为说明作用，并不作为对本发明的限制。
[0054] 展示平台处理器107可以独立于所述后台服务器103，也可以为后台服务器103的一部分，其用于依据业务系统的需求，展示所述明细数据库104、所述分维度数据库105及106存储的统计数据。
[0055] 于本实施例中，以所述业务系统102为电子商务网站举例，用户通过所述终端101登录所述电子商务网站102，执行交易操作，购买某一特定商品，所述电子商务网站102运行完成此次交易操作，并将此次交易操作所产生的实时数据，如商品购买操作产生的实时数据包含商品名目(ID)、买家信息、卖家信息、购买数量、购买时间、收货地点、付款方式等。所述后台服务器获取所述实时数据，依据预先设定的需求程式或者所述电子商务网站发送的需求，对所述实时数据进行处理。其中，包括生成所述实时数据的多维度明细数据，及计算所述实时数据的至少一个分维度数据的统计结果，如交易明细数据及对商品维度及买家维度的统计，并将所述明细数据及商品维度及买家维度的统计分别存储至所述业务数据库，如，明细数据库104存储所说交易明细数据、分维度数据库105及106则分别存储商品维度统计数据及买家维度统计数据。所述展示平台处理器107逻辑连接于所述后台服务器103，依据所述业务系统的需求在电子商务网站上直接展示明细数据、商品维度统计数据及买家维度统计数据。或者依据电子商务网站或者电子商务网站会员的需求直接将明细数据、商品维度统计数据及买家维度统计数据推送至所述终端101。
[0056] 依据上述内容可知，本实施例的实时数据处理装置100在所述后台服务器103端进行实时数据的分维度数据统计，而非在数据库内进行分维度数据统计，可较少的消耗系统性能。其次，本实施例的所述实时数据处理装置100，对接收到的实时数据进行分维度统计，并分别存储分维度统计结果，而非在明细数据表内直接做分维度的求和统计，因此，本发明所述的实时数据处理装置100的计算量远小于现有技术在明细数据表内做分维度数据统计的计算量，对系统性能的影响也将大大降低。
[0057] 本领域的一般技术人员结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
[0058] 结合本文中所公开的实施例描述的方法或算法的步骤可以用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
[0059] 以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
