大数据聚合分析方法及装置转让专利

申请号 : CN201711319640.9

文献号 : CN108073699B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 姚韬范勇杰蒋小燕

申请人 : 中国联合网络通信集团有限公司中网威信电子安全服务有限公司

摘要 :

本发明提供一种大数据聚合分析方法及装置,本发明实施例通过将聚合分析模型分为基础模型和聚合模型两个层次,聚合分析中心接收到的订单信息至少包括目标模型的标识和目标模型对应的至少一个数据机构标识,将订单信息发送给各数据机构标识对应的数据机构,由各数据机构根据原始数据和基础模型生成中间数据,聚合分析中心汇总各数据机构的中间数据,通过目标模型的聚合模型对各中间数据进行聚合分析得到聚合分析结果,聚合分析中心无需从各数据机构批量购买或者交换原始数据,即可与各数据机构合作完成聚合分析处理过程,得到聚合分析结果,提高了各数据机构合作的积极性,简化了大数据聚合分析的流程,大大提高了聚合分析结果的时效性。

权利要求 :

1.一种大数据聚合分析方法,其特征在于,包括:

聚合分析中心接收用户提交的订单信息,所述订单信息至少包括目标模型的标识和所述目标模型对应的至少一个数据机构标识,所述目标模型为任一已发布的聚合分析模型,所述目标模型包括聚合模型和至少一个基础模型,每个所述基础模型对应于唯一的一个所述数据机构;

所述聚合分析中心将所述订单信息发送给各所述数据机构标识对应的数据机构,以使各所述数据机构根据所述订单信息中的目标模型的标识以及存储的所述目标模型,确定与自身对应的属于所述目标模型的基础模型,并根据所述与自身对应的属于所述目标模型的基础模型生成中间数据,并将所述中间数据发送给所述聚合分析中心;

所述聚合分析中心接收各所述数据机构发送的所述中间数据;

所述聚合分析中心通过所述目标模型的聚合模型,对各所述中间数据进行聚合分析,得到聚合分析结果;

所述聚合分析模型包括聚合模型和至少一个基础模型;

所述聚合模型包括模型标识、中间数据来源信息、基础模型标识、分析结果、模型主体、第三方机构标识和消息摘要;

其中,所述模型标识用于唯一标识所述聚合模型,所述中间数据来源信息用于说明作为所述聚合模型的输入数据的所述中间数据及其来源,所述基础模型标识为多个所述基础模型的标识,用于说明所述聚合模型需要的所述基础模型对应的所述中间数据,所述分析结果用于说明所述聚合模型应得到的所述聚合分析结果的信息,所述第三方机构标识为完成所述聚合模型开发的所述第三方机构标识,所述消息摘要为根据所述聚合模型所包括的除所述消息摘要外的信息以及消息摘要算法生成的摘要信息;

所述基础模型包括模型标识、样本数据来源、中间数据、模型主体、第三方机构标识和消息摘要;

其中,所述模型标识用于唯一标识所述基础模型,所述样本数据来源用于说明作为所述基础模型的输入数据的样本数据及其来源,所述第三方机构标识为完成所述基础模型开发的所述第三方机构的标识,所述消息摘要为根据所述基础模型所包括的除所述消息摘要外的信息以及消息摘要算法生成的摘要信息。

2.根据权利要求1所述的方法,其特征在于,所述聚合分析中心接收用户提交的订单信息之前,还包括:所述聚合分析中心获取至少一个所述聚合分析模型;

所述聚合分析中心将各所述聚合分析模型发送给各数据机构,以使各数据机构存储各所述聚合分析模型;

所述聚合分析中心将各所述聚合分析模型进行发布,以使所述用户根据各所述聚合分析模型的发布信息提交所述订单信息,以订购所述目标模型的聚合分析结果。

3.根据权利要求2所述的方法,其特征在于,所述聚合分析中心获取至少一个所述聚合分析模型,包括:所述聚合分析中心获取第三方机构根据各数据机构提供的样本数据和元数据生成的第一模型,所述第一模型为未经过测试的聚合分析模型;

所述聚合分析中心将所述第一模型发送给各所述数据机构,以使各所述数据机构对所述第一模型的基础模型进行测试,并向所述聚合分析中心反馈各所述第一模型的基础模型的测试结果、以及测试通过的所述第一模型的基础模型的中间数据;

所述聚合分析中心根据所述测试结果、以及所述测试通过的所述第一模型的基础模型的中间数据,对所述第一模型的聚合模型进行测试;

所述聚合分析中心将测试通过的第一模型作为所述聚合分析模型。

4.根据权利要求3所述的方法,其特征在于,所述聚合分析中心根据所述测试结果、以及所述测试通过的所述第一模型的基础模型对应的中间数据,对所述第一模型的聚合模型进行测试,包括:所述聚合分析中心将每个所述第一模型作为待测模型,根据所述测试结果,若所述待测模型的任一基础模型测试不通过,则确定所述待测模型测试不通过;

若所述待测模型的各基础模型均测试通过,则根据所述待测模型的基础模型对应的中间数据,对所述待测模型的聚合模型进行测试;

若所述对所述待测模型的聚合模型测试通过,则确定所述待测模型测试通过。

5.根据权利要求1所述的方法,其特征在于,所述聚合模型包括至少两层聚合子模型,所述聚合分析中心通过所述目标模型的聚合模型,对各所述中间数据进行聚合分析,得到聚合分析结果,包括:所述聚合分析中心通过所述目标模型的第一层聚合子模型,对各所述中间数据进行聚合分析,得到第一层中间分析结果;

所述聚合分析中心通过除所述第一层聚合子模型之外的各层聚合子模型,对上一层聚合子模型的中间分析结果进行聚合分析,得到本层的中间分析结果;

通过最后一层聚合子模型进行聚合分析得到的最后一层的中间分析结果作为所述聚合分析结果。

6.根据权利要求1-5任一项所述的方法,其特征在于,

所述聚合分析中心采用智能合约的方式与各所述数据机构进行数据传输;

所述聚合分析中心通过所述目标模型的聚合模型,对各所述中间数据进行聚合分析,得到聚合分析结果,包括:所述聚合分析中心采用智能合约的方式,通过所述目标模型的聚合模型对各所述中间数据进行聚合分析,得到聚合分析结果。

7.一种大数据聚合分析方法,其特征在于,包括:

数据机构接收聚合分析中心发送的订单信息,所述订单信息至少包括目标模型的标识和所述目标模型对应的至少一个数据机构标识,所述目标模型为任一已发布的聚合分析模型,所述目标模型包括聚合模型和至少一个基础模型,每个所述基础模型对应于唯一的一个所述数据机构;

所述数据机构根据所述订单信息中的目标模型的标识、以及自身存储的各所述聚合分析模型,确定与自身对应的属于所述目标模型的基础模型;

所述数据机构根据所述与自身对应的属于所述目标模型的基础模型,生成中间数据;

所述数据机构将所述中间数据发送给所述聚合分析中心,以使所述聚合分析中心通过所述目标模型的聚合模型,对接收到的各所述中间数据进行聚合分析,得到聚合分析结果;

所述聚合分析模型包括聚合模型和至少一个基础模型;

所述聚合模型包括模型标识、中间数据来源信息、基础模型标识、分析结果、模型主体、第三方机构标识和消息摘要;

其中,所述模型标识用于唯一标识所述聚合模型,所述中间数据来源信息用于说明作为所述聚合模型的输入数据的所述中间数据及其来源,所述基础模型标识为多个所述基础模型的标识,用于说明所述聚合模型需要的所述基础模型对应的所述中间数据,所述分析结果用于说明所述聚合模型应得到的所述聚合分析结果的信息,所述第三方机构标识为完成所述聚合模型开发的所述第三方机构标识,所述消息摘要为根据所述聚合模型所包括的除所述消息摘要外的信息以及消息摘要算法生成的摘要信息;

所述基础模型包括模型标识、样本数据来源、中间数据、模型主体、第三方机构标识和消息摘要;

其中,所述模型标识用于唯一标识所述基础模型,所述样本数据来源用于说明作为所述基础模型的输入数据的样本数据及其来源,所述第三方机构标识为完成所述基础模型开发的所述第三方机构的标识,所述消息摘要为根据所述基础模型所包括的除所述消息摘要外的信息以及消息摘要算法生成的摘要信息。

8.根据权利要求7所述的方法,其特征在于,所述数据机构接收聚合分析中心发送的订单信息之前,还包括:所述数据机构接收所述聚合分析中心发送的各所述聚合分析模型,并存储。

9.根据权利要求7或8所述的方法,其特征在于,所述数据机构接收所述聚合分析中心发送的各所述聚合分析模型之前,还包括:所述数据机构接收所述聚合分析中心发送的第一模型,所述第一模型为所述第一模型为第三方机构根据所述数据机构提供的样本数据和元数据生成的未经过测试的聚合分析模型;

所述数据机构对所述第一模型的基础模型进行测试;

若对所述第一模型的基础模型测试通过,则生成所述第一模型的基础模型的中间数据;

所述数据机构向所述聚合分析中心反馈各所述第一模型的基础模型的测试结果、以及测试通过的所述第一模型的基础模型的中间数据。

10.一种大数据聚合分析装置,其特征在于,包括:

第一通信模块,用于聚合分析中心接收用户提交的订单信息,所述订单信息至少包括目标模型的标识和所述目标模型对应的至少一个数据机构标识,所述目标模型为任一已发布的聚合分析模型,所述目标模型包括聚合模型和至少一个基础模型,每个所述基础模型对应于唯一的一个所述数据机构;

第二通信模块,用于所述聚合分析中心将所述订单信息发送给各所述数据机构标识对应的数据机构,以使各所述数据机构根据所述订单信息中的目标模型的标识以及存储的所述目标模型,确定与自身对应的属于所述目标模型的基础模型,并根据所述与自身对应的属于所述目标模型的基础模型生成中间数据,并将所述中间数据发送给所述聚合分析中心;

所述第二通信模块还用于所述聚合分析中心接收各所述数据机构发送的所述中间数据;

聚合分析模块,用于所述聚合分析中心通过所述目标模型的聚合模型,对各所述中间数据进行聚合分析,得到聚合分析结果;

所述聚合分析模型包括聚合模型和至少一个基础模型;

所述聚合模型包括模型标识、中间数据来源信息、基础模型标识、分析结果、模型主体、第三方机构标识和消息摘要;

其中,所述模型标识用于唯一标识所述聚合模型,所述中间数据来源信息用于说明作为所述聚合模型的输入数据的所述中间数据及其来源,所述基础模型标识为多个所述基础模型的标识,用于说明所述聚合模型需要的所述基础模型对应的所述中间数据,所述分析结果用于说明所述聚合模型应得到的所述聚合分析结果的信息,所述第三方机构标识为完成所述聚合模型开发的所述第三方机构标识,所述消息摘要为根据所述聚合模型所包括的除所述消息摘要外的信息以及消息摘要算法生成的摘要信息;

所述基础模型包括模型标识、样本数据来源、中间数据、模型主体、第三方机构标识和消息摘要;

其中,所述模型标识用于唯一标识所述基础模型,所述样本数据来源用于说明作为所述基础模型的输入数据的样本数据及其来源,所述第三方机构标识为完成所述基础模型开发的所述第三方机构的标识,所述消息摘要为根据所述基础模型所包括的除所述消息摘要外的信息以及消息摘要算法生成的摘要信息。

11.根据权利要求10所述的装置,其特征在于,还包括:

模型生成模块,用于所述聚合分析中心获取至少一个所述聚合分析模型;

所述第二通信模块还用于所述聚合分析中心将各所述聚合分析模型发送给各数据机构,以使各数据机构存储各所述聚合分析模型;

发布模块,用于所述聚合分析中心将各所述聚合分析模型进行发布,以使所述用户根据各所述聚合分析模型的发布信息提交所述订单信息,以订购所述目标模型的聚合分析结果。

12.根据权利要求11所述的装置,其特征在于,所述模型生成模块包括:第一获取子模块和测试子模块;

所述第一获取子模块用于所述聚合分析中心获取第三方机构根据各数据机构提供的样本数据和元数据生成的第一模型,所述第一模型为未经过测试的聚合分析模型;

所述第二通信子模块还用于所述聚合分析中心将所述第一模型发送给各所述数据机构,以使各所述数据机构对所述第一模型的基础模型进行测试,并向所述聚合分析中心反馈各所述第一模型的基础模型的测试结果、以及测试通过的所述第一模型的基础模型的中间数据;

所述测试子模块用于所述聚合分析中心根据所述测试结果、以及所述测试通过的所述第一模型的基础模型的中间数据,对所述第一模型的聚合模型进行测试;所述聚合分析中心将测试通过的第一模型作为所述聚合分析模型。

13.根据权利要求12所述的装置,其特征在于,所述测试子模块还用于:所述聚合分析中心将每个所述第一模型作为待测模型,根据所述测试结果,若所述待测模型的任一基础模型测试不通过,则确定所述待测模型测试不通过;

若所述待测模型的各基础模型均测试通过,则根据所述待测模型的基础模型对应的中间数据,对所述待测模型的聚合模型进行测试;

若所述对所述待测模型的聚合模型测试通过,则确定所述待测模型测试通过。

14.根据权利要求10所述的装置,其特征在于,所述聚合模型包括至少两层聚合子模型,所述聚合分析模块还用于:所述聚合分析中心通过所述目标模型的第一层聚合子模型,对各所述中间数据进行聚合分析,得到第一层中间分析结果;

所述聚合分析中心通过除所述第一层聚合子模型之外的各层聚合子模型,对上一层聚合子模型的中间分析结果进行聚合分析,得到本层的中间分析结果;

通过最后一层聚合子模型进行聚合分析得到的最后一层的中间分析结果作为所述聚合分析结果。

15.一种大数据聚合分析装置,其特征在于,包括:

接收模块,用于数据机构接收聚合分析中心发送的订单信息,所述订单信息至少包括目标模型的标识和所述目标模型对应的至少一个数据机构标识,所述目标模型为任一已发布的聚合分析模型,所述目标模型包括聚合模型和至少一个基础模型,每个所述基础模型对应于唯一的一个所述数据机构;

确定模块,用于所述数据机构根据所述订单信息中的目标模型的标识、以及自身存储的各所述聚合分析模型,确定与自身对应的属于所述目标模型的基础模型;

生成模块,用于所述数据机构根据所述与自身对应的属于所述目标模型的基础模型,生成中间数据;

发送模块,用于所述数据机构将所述中间数据发送给所述聚合分析中心,以使所述聚合分析中心通过所述目标模型的聚合模型,对接收到的各所述中间数据进行聚合分析,得到聚合分析结果;

所述聚合分析模型包括聚合模型和至少一个基础模型;

所述聚合模型包括模型标识、中间数据来源信息、基础模型标识、分析结果、模型主体、第三方机构标识和消息摘要;

其中,所述模型标识用于唯一标识所述聚合模型,所述中间数据来源信息用于说明作为所述聚合模型的输入数据的所述中间数据及其来源,所述基础模型标识为多个所述基础模型的标识,用于说明所述聚合模型需要的所述基础模型对应的所述中间数据,所述分析结果用于说明所述聚合模型应得到的所述聚合分析结果的信息,所述第三方机构标识为完成所述聚合模型开发的所述第三方机构标识,所述消息摘要为根据所述聚合模型所包括的除所述消息摘要外的信息以及消息摘要算法生成的摘要信息;

所述基础模型包括模型标识、样本数据来源、中间数据、模型主体、第三方机构标识和消息摘要;

其中,所述模型标识用于唯一标识所述基础模型,所述样本数据来源用于说明作为所述基础模型的输入数据的样本数据及其来源,所述第三方机构标识为完成所述基础模型开发的所述第三方机构的标识,所述消息摘要为根据所述基础模型所包括的除所述消息摘要外的信息以及消息摘要算法生成的摘要信息。

16.根据权利要求15所述的装置,其特征在于,所述接收模块还用于:

所述数据机构接收所述聚合分析中心发送的各所述聚合分析模型,并存储。

17.根据权利要求15或16所述的装置,其特征在于,还包括:测试模块,所述接收模块还用于所述数据机构接收所述聚合分析中心发送的第一模型,所述第一模型为所述第一模型为第三方机构根据所述数据机构提供的样本数据和元数据生成的未经过测试的聚合分析模型;

所述测试模块用于所述数据机构对所述第一模型的基础模型进行测试;

所述生成模块,还用于若对所述第一模型的基础模型测试通过,则生成所述第一模型的基础模型的中间数据;

所述发送模块还用于所述数据机构向所述聚合分析中心反馈各所述第一模型的基础模型的测试结果、以及测试通过的所述第一模型的基础模型的中间数据。

说明书 :

大数据聚合分析方法及装置

技术领域

[0001] 本发明涉及大数据技术领域,尤其涉及一种大数据聚合分析方法及装置。

背景技术

[0002] 随着大数据及大数据技术的发展,拥有大数据的数据机构层出不穷,大数据作为商品成为各用户交易的对象。为避免将原始数据进行分享后可能损坏自身的竞争优势,目前各数据机构大多基于自有数据采用自产自销的模式出售大数据商品。
[0003] 数据机构自建聚合分析中心,聚合分析中心根据用户需求,自行开发数据分析模型,基于自有的原始数据采用自建的数据分析模型进行大数据分析,从而得到大数据分析结果,将大数据分析结果作为商品出售给用户。如果自有的原始数据无法满足用户需求,则需通过购买或交换的方式,从其他数据机构批量获得所需的原始数据。聚合分析中心人工确认接收到全部原始数据后,清洗数据汇总,运用分析模型得出结果,交付用户。
[0004] 但是,聚合分析中心从其他数据机构批量购买原始数据的代价很大,与其他数据机构交换原始数据可能会因独有数据的分享而丧失自身的竞争优势,并且与其他数据机构协商合作等流程复杂,耗时较长,无法保证分析结果的时效性。

发明内容

[0005] 本发明提供一种大数据聚合分析方法及装置,用以解决现有技术中聚合分析中心从其他数据机构批量购买原始数据的代价很大,与其他数据机构交换原始数据可能会因独有数据的分享而丧失自身的竞争优势,并且与其他数据机构协商合作等流程复杂,耗时较长,无法保证分析结果的时效性的问题。
[0006] 本发明的一个方面是提供一种大数据聚合分析方法,包括:
[0007] 聚合分析中心接收用户提交的订单信息,所述订单信息至少包括目标模型的标识和所述目标模型对应的至少一个数据机构标识,所述目标模型为任一已发布的聚合分析模型,所述目标模型包括聚合模型和至少一个基础模型,每个所述基础模型对应于唯一的一个所述数据机构;
[0008] 所述聚合分析中心将所述订单信息发送给各所述数据机构标识对应的数据机构,以使各所述数据机构根据所述订单信息中的目标模型的标识以及存储的所述目标模型,确定与自身对应的属于所述目标模型的基础模型,并根据所述与自身对应的属于所述目标模型的基础模型生成中间数据,并将所述中间数据发送给所述聚合分析中心;
[0009] 所述聚合分析中心接收各所述数据机构发送的所述中间数据;
[0010] 所述聚合分析中心通过所述目标模型的聚合模型,对各所述中间数据进行聚合分析,得到聚合分析结果。
[0011] 本发明的另一个方面是提供一种大数据聚合分析方法,包括:
[0012] 数据机构接收聚合分析中心发送的订单信息,所述订单信息至少包括目标模型的标识和所述目标模型对应的至少一个数据机构标识,所述目标模型为任一已发布的聚合分析模型,所述目标模型包括聚合模型和至少一个基础模型,每个所述基础模型对应于唯一的一个所述数据机构;
[0013] 所述数据机构根据所述订单信息中的目标模型的标识、以及自身存储的各所述聚合分析模型,确定与自身对应的属于所述目标模型的基础模型;
[0014] 所述数据机构根据所述与自身对应的属于所述目标模型的基础模型,生成中间数据;
[0015] 所述数据机构将所述中间数据发送给所述聚合分析中心,以使所述聚合分析中心通过所述目标模型的聚合模型,对接收到的各所述中间数据进行聚合分析,得到聚合分析结果。
[0016] 本发明的另一个方面是提供一种大数据聚合分析装置,包括:
[0017] 第一通信模块,用于聚合分析中心接收用户提交的订单信息,所述订单信息至少包括目标模型的标识和所述目标模型对应的至少一个数据机构标识,所述目标模型为任一已发布的聚合分析模型,所述目标模型包括聚合模型和至少一个基础模型,每个所述基础模型对应于唯一的一个所述数据机构;
[0018] 第二通信模块,用于所述聚合分析中心将所述订单信息发送给各所述数据机构标识对应的数据机构,以使各所述数据机构根据所述订单信息中的目标模型的标识以及存储的所述目标模型,确定与自身对应的属于所述目标模型的基础模型,并根据所述与自身对应的属于所述目标模型的基础模型生成中间数据,并将所述中间数据发送给所述聚合分析中心;
[0019] 所述第二通信模块还用于所述聚合分析中心接收各所述数据机构发送的所述中间数据;
[0020] 聚合分析模块,用于所述聚合分析中心通过所述目标模型的聚合模型,对各所述中间数据进行聚合分析,得到聚合分析结果。
[0021] 本发明的另一个方面是提供一种大数据聚合分析装置,包括:
[0022] 接收模块,用于数据机构接收聚合分析中心发送的订单信息,所述订单信息至少包括目标模型的标识和所述目标模型对应的至少一个数据机构标识,所述目标模型为任一已发布的聚合分析模型,所述目标模型包括聚合模型和至少一个基础模型,每个所述基础模型对应于唯一的一个所述数据机构;
[0023] 确定模块,用于所述数据机构根据所述订单信息中的目标模型的标识、以及自身存储的各所述聚合分析模型,确定与自身对应的属于所述目标模型的基础模型;
[0024] 生成模块,用于所述数据机构根据所述与自身对应的属于所述目标模型的基础模型,生成中间数据;
[0025] 发送模块,用于所述数据机构将所述中间数据发送给所述聚合分析中心,以使所述聚合分析中心通过所述目标模型的聚合模型,对接收到的各所述中间数据进行聚合分析,得到聚合分析结果。
[0026] 本发明提供的大数据聚合分析方法及装置,本发明实施例通过将聚合分析模型分为基础模型和聚合模型两个层次,聚合分析中心接收到的订单信息至少包括目标模型的标识和目标模型对应的至少一个数据机构标识,聚合分析中心将订单信息发送给各数据机构标识对应的数据机构,由各数据机构根据自身的原始数据和基础模型生成中间数据,再由聚合分析中心汇总各数据机构生成的中间数据,通过目标模型的聚合模型,对各中间数据进行聚合分析得到聚合分析结果,从而由各数据机构直接提供中间数据,聚合分析中心无需从各数据机构批量购买或者交换原始数据,从而在各数据机构无需与聚合分析中心或其他数据机构分享原始数据的前提下,合作完成聚合分析处理过程,得到各聚合分析模型对应的聚合分析结果,从而可以提高各数据机构合作的积极性,简化了大数据聚合分析的流程,大大提高了聚合分析结果的时效性。

附图说明

[0027] 此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本发明的实施例,并与说明书一起用于解释本发明的原理。
[0028] 图1为本发明实施例一提供的大数据聚合分析方法流程图;
[0029] 图2为本发明实施例三提供的大数据聚合分析方法流程图;
[0030] 图3为本发明实施例五提供的大数据聚合分析装置的结构示意图;
[0031] 图4为本发明实施例七提供的大数据聚合分析装置的结构示意图。
[0032] 通过上述附图,已示出本发明明确的实施例,后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本发明构思的范围,而是通过参考特定实施例为本领域技术人员说明本发明的概念。

具体实施方式

[0033] 这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
[0034] 首先对本发明所涉及的名词进行解释:
[0035] 智能合约:可以实现根据预先约定的合约条款,当一个预先编好的条件被触发时,可自动执行相应的合约条款。智能合约能保证自动执行合约条款的过程中不被中断。智能合约这个术语至少可以追溯到1995年,是由多产的跨领域法律学者尼克·萨博(Nick Szabo)提出来的。他在发表在自己的网站的几篇文章中提到了智能合约的理念。他的定义如下:“一个智能合约是一套以数字形式定义的承诺(promises),包括合约参与方可以在上面执行这些承诺的协议。”数字形式意味着合约不得不写入计算机可读的代码中。
[0036] 集群:是由一些互相连接在一起的计算机构成的一个并行或分布式系统。
[0037] 时效性:是指信息仅在一定时间段内对决策具有价值的属性。决策的时效性很大程度上制约着决策的客观效果。
[0038] 多个:是指两个及以上。
[0039] 下面这几个具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图,对本发明的实施例进行描述。
[0040] 实施例一
[0041] 图1为本发明实施例一提供的大数据聚合分析方法流程图。本发明实施例针对现有技术中聚合分析中心从其他数据机构批量购买原始数据的代价很大,与其他数据机构交换原始数据可能会因独有数据的分享而丧失自身的竞争优势,并且与其他数据机构协商合作等流程复杂,耗时较长,无法保证分析结果的时效性的问题,提供了大数据聚合分析方法。如图1所示,该方法具体步骤如下:
[0042] 步骤S101、聚合分析中心接收用户提交的订单信息,订单信息至少包括目标模型的标识和目标模型对应的至少一个数据机构标识,目标模型为任一已发布的聚合分析模型,目标模型包括聚合模型和至少一个基础模型,每个基础模型对应于唯一的一个数据机构。
[0043] 本实施例中,聚合分析中心为独立于各数据机构的服务器、集群等计算机设备。聚合分析中心不属于任何一个数据机构,而是多个数据机构的管理中心,与多个数据机构共同构成一个大数据的交易平台,对外提供大数据商品。
[0044] 其中,聚合分析模型包括聚合模型和至少一个基础模型,每个基础模型对应于唯一的一个数据机构。对于任意一个聚合分析模型,进行聚合分析得到聚合分析结果的过程如下:
[0045] 对于该聚合分析模型的任一基础模型,由该基础模型对应的数据机构根据自身的原始数据通过该基础模型生成中间数据,作为该基础模型的中间数据;聚合分析中心汇总该聚合分析模型的各基础模型的中间数据,通过聚合模型对该聚合分析模型的各基础模型的中间数据进行聚合分析,得到该聚合分析模型的聚合分析结果。
[0046] 本实施中,用户通过订单信息订购的大数据商品是指订单信息中的目标模型的标识所标识的目标模型对应的聚合分析结果。用户根据已经发布的聚合分析模型的发布信息,可以根据自己的需要选定其中一个已经发布的聚合分析模型作为目标模型,提交订单,以订购目标模型对应的聚合分析结果。
[0047] 步骤S102、聚合分析中心将订单信息发送给各数据机构标识对应的数据机构,以使各数据机构根据订单信息中的目标模型的标识以及存储的目标模型,确定与自身对应的属于目标模型的基础模型,并根据与自身对应的属于目标模型的基础模型生成中间数据,并将中间数据发送给聚合分析中心。
[0048] 该步骤中,聚合分析中心将订单信息转发给各数据机构标识对应的数据机构,具体可以采用如下方式实现:
[0049] 聚合分析中心根据订单信息,确定订单信息中的各数据机构标识对应的数据机构,向各数据机构标识对应的数据机构发送订单信息,以使各数据机构根据订单信息中的目标模型的标识、以及预先存储的各聚合分析模型,确定与自身对应的目标模型,进一步确定与自身对应的属于目标模型的基础模型,并根据与自身对应的属于目标模型的基础模型生成中间数据,并将中间数据发送给聚合分析中心。或者,聚合分析中心将订单信息转发给所有可通信的数据机构,由各数据机构根据订单信息中的目标模型的标识以及存储的各聚合分析模型,确定是否存在与自身对应的属于目标模型的基础模型,若存在则需要参与本次聚合分析过程,根据与自身对应的属于目标模型的基础模型生成中间数据,并将中间数据发送给聚合分析中心。
[0050] 步骤S103、聚合分析中心接收各数据机构发送的中间数据。
[0051] 其中,中间数据包括其对应的基础模型的标识,以使聚合分析中心可以将基础模型与中间数据进行对应。可选地,中间数据还可以包括目标模型的标识,也即是中间数据对应的基础模型所属的聚合分析模型的标识,以便于聚合分析中心在同时处理多个订单信息时,能够区分不同的目标模型的中间数据。
[0052] 步骤S104、聚合分析中心通过目标模型的聚合模型,对各中间数据进行聚合分析,得到聚合分析结果。
[0053] 可选地,聚合分析中心可以为一个服务器、或者还可以包括多个聚合节点,不同的聚合节点分别负责不同聚合分析模型的聚合分析处理过程,例如,可以是由多个聚合节点构成的集群,以加快聚合分析中心的计算效率,从而可以提高聚合分析处理的效率。
[0054] 另外,本实施例中,订单信息可以包括一个或者多个目标模型的标识,分别针对每一个目标模型通过步骤S102-S104进行聚合分析处理得到与该目标模型对应的聚合分析结果,对每个目标模型进行聚合分析处理的过程相同,本实施例此处不再赘述。
[0055] 本发明实施例通过将聚合分析模型分为基础模型和聚合模型两个层次,聚合分析中心接收到的订单信息至少包括目标模型的标识和目标模型对应的至少一个数据机构标识,聚合分析中心将订单信息发送给各数据机构标识对应的数据机构,由各数据机构根据自身的原始数据和基础模型生成中间数据,再由聚合分析中心汇总各数据机构生成的中间数据,通过目标模型的聚合模型,对各中间数据进行聚合分析得到聚合分析结果,从而由各数据机构直接提供中间数据,聚合分析中心无需从各数据机构批量购买或者交换原始数据,从而在各数据机构无需与聚合分析中心或其他数据机构分享原始数据的前提下,合作完成聚合分析处理过程,得到各聚合分析模型对应的聚合分析结果,从而可以提高各数据机构合作的积极性,简化了大数据聚合分析的流程,大大提高了聚合分析结果的时效性。
[0056] 实施例二
[0057] 在上述实施例一的基础上,本实施例中,聚合分析中心接收用户提交的订单信息之前,还包括:聚合分析中心获取至少一个聚合分析模型;聚合分析中心将各聚合分析模型发送给各数据机构;聚合分析中心将各聚合分析模型进行发布,以使用户根据各聚合分析模型的发布信息提交订单信息,以订购目标模型的聚合分析结果。本发明实施例二提供的大数据聚合分析方法具体步骤如下:
[0058] 步骤S201、聚合分析中心获取至少一个聚合分析模型。
[0059] 本实施例中,聚合分析中心获取至少一个聚合分析模型,具体可以采用如下方式实现:
[0060] 聚合分析中心获取第三方机构根据各数据机构提供的样本数据和元数据生成的第一模型,第一模型为未经过测试的聚合分析模型。聚合分析中心将第一模型发送给各数据机构,以使各数据机构对第一模型的基础模型进行测试,并向聚合分析中心反馈各第一模型的基础模型的测试结果、以及测试通过的第一模型的基础模型的中间数据。聚合分析中心根据测试结果、以及测试通过的第一模型的基础模型的中间数据,对第一模型的聚合模型进行测试;聚合分析中心将测试通过的第一模型作为聚合分析模型。
[0061] 其中,样本数据是指各数据机构提供的与原始数据相对应的示例数据;元数据是指原始数据和样本数据的格式信息。
[0062] 可选的,在聚合分析中心将测试通过的第一模型作为聚合分析模型之后,聚合分析中心可以与数据机构和第三方机构共同商定为聚合分析模型进行定价,还可以约定对应于各聚合分析模型数据机构和第三方机构应得费用。
[0063] 可选地,聚合分析中心将测试通过的第一模型作为聚合分析模型之后,告知测试通过的第一模型对应的第三方机构,并根据事先的约定向第三方机构支付费用。
[0064] 可选地,第三方机构可以根据各数据机构提供的样本数据和元数据,从中自由选取样本数和元数据,根据选取的样本数据和元数据开发聚合分析模型,作为第一模型,将第一模型及其对应的样本数据提交到聚合分析中心,聚合分析中心联合各数据机构对第一模型进行测试,测试通过的第一模型可以作为聚合分析模型。
[0065] 本实施例中,第一模型的聚合模型至少包括以下信息:模型标识、中间数据来源信息、基础模型标识、分析结果、模型主体、第三方机构标识和消息摘要。其中,模型标识用于唯一标识该聚合模型;中间数据来源信息用于说明作为该聚合模型的输入数据的中间数据及其来源,也就是中间数据以及其对应的基础模型标识;基础模型标识可以为多个基础模型的标识,用于说明该聚合模型需要哪些基础模型对应的中间数据;分析结果用于说明聚合模型应得到的聚合分析结果的信息;第三方机构标识为完成该聚合模型开发的第三方机构的标识;消息摘要为根据聚合模型所包括的除消息摘要外的信息以及消息摘要算法生成的摘要信息,其中消息摘要算法可以为现有任意一种消息摘要算法。另外,聚合模型还可以包括功能说明等信息,以便于聚合分析中心和各数据机构了解聚合模型的功能。
[0066] 第一模型的基础模型至少包括以下信息:模型标识、样本数据来源、中间数据、模型主体、第三方机构标识和消息摘要。其中,模型标识用于唯一标识该基础模型;样本数据来源用于说明作为该基础模型的输入数据的样本数据及其来源,中间数据用于说明该基础模型应得到的中间数据的信息;第三方机构标识为完成该基础模型开发的第三方机构的标识;消息摘要为根据该基础模型所包括的除消息摘要外的信息以及消息摘要算法生成的摘要信息,其中消息摘要算法可以为现有任意一种消息摘要算法。另外,该基础模型还可以包括功能说明等信息,以便于聚合分析中心和各数据机构了解该基础模型的功能。
[0067] 本实施例中,数据机构对基础模型进行测试,可以通过验证消息摘要来验证基础模型的有效性和安全性。
[0068] 进一步地,聚合分析中心根据测试结果、以及测试通过的第一模型的基础模型对应的中间数据,对第一模型的聚合模型进行测试,具体可以采用如下方式实现:
[0069] 聚合分析中心将每个第一模型作为待测模型,根据测试结果,若待测模型的任一基础模型测试不通过,则确定待测模型测试不通过;
[0070] 若待测模型的各基础模型均测试通过,则根据待测模型的基础模型对应的中间数据,对待测模型的聚合模型进行测试;若对待测模型的聚合模型测试通过,则确定待测模型测试通过。
[0071] 本实施例中,根据待测模型的基础模型对应的中间数据,对待测模型的聚合模型进行测试,可以通过验证聚合模型的消息摘要来验证聚合模型的有效性和安全性。
[0072] 本实施例中,初始建立一个区块链,该区块链可以由聚合分析中心、各数据机构和第三方机构共享,可以将步骤S201-S209中的关键信息记录到该区块链中,以实现整个处理过程中关键处理过程的记录,从而使得聚合分析中心、各数据机构和第三方机构可以对整个处理过程进行监督,便于发现恶意行为。
[0073] 可选地,各数据机构发布新的样本数据和元数据之后,根据新发布的样本数据和元数据生成新的区块,该区块可以包括样本数据和元数据的摘要信息、数据机构标识、发布时间等信息,并将该区块添加到区块链的末尾。
[0074] 可选地,各数据机构对第一模型的基础数据测试之后,生成包含测试结果的新的区块,将该区块添加到区块链的末尾。
[0075] 可选地,第三方机构向聚合分析中心提交第一模型之后,根据第一模型的信息生成新的区块,该区块可以包括:第三方机构标识、第一模型标识、聚合模型的消息摘要以及基础模型的消息摘要等信息,并将该区块连接到区块链中。
[0076] 步骤S202、聚合分析中心将各聚合分析模型发送给各数据机构,以使各数据机构存储各聚合分析模型。
[0077] 在获取到各聚合分析模型后,该步骤中,聚合分析中心将各聚合分析模型发送给各数据机构,以使各数据机构存储各聚合分析模型,以便于后续根据订单信息指定的目标模型的标识就可以确定目标模型的基础模型,并可以进一步确定与自身对应的属于目标模型的基础模型,从而可以根据与自身对应的属于目标模型的基础模型、以及预先存储的原始数据,生成中间数据。
[0078] 可选地,该步骤中,聚合分析中心将各聚合分析模型发送给各数据机构之后,聚合分析中心根据聚合分析模型生成新的区块,该区块可以包括聚合分析模型标识、数据机构标识和第三方机构标识等信息,并将该区块添加到区块链的末尾。
[0079] 步骤S203、聚合分析中心将各聚合分析模型进行发布,以使用户根据各聚合分析模型的发布信息提交订单信息,以订购目标模型的聚合分析结果。
[0080] 该步骤中,聚合分析中心将各聚合分析模型进行发布,将各聚合分析模型的发布信息对外发布,使得用户可以查阅聚合分析模型的发布信息,其中发布信息可以包括聚合分析模型的数据内容概要信息、用途、使用方法和价格等,从而根据聚合分析模型的描述信息简要了解聚合分析模型所包括的数据内容或者用途等信息,从而使用户根据各聚合分析模型的发布信息提交订单信息,以订购目标模型的聚合分析结果。
[0081] 可选地,聚合分析模型的发布信息至少包括:模型标识、原始数据来源、基础模型标识、聚合模型标识、第三方机构标识、价格信息和消息摘要。其中,模型标识用于唯一标识一个聚合分析模型;原始数据来源用于说明该聚合分析模型所需输入的原始数据的信息;基础模型标识为该聚合分析模型包括的各基础模型的标识;聚合模型标识为该聚合分析模型包括的聚合模型的标识;第三方机构标识为完成该聚合分析模型开发的第三方机构的标识;价格信息是指该聚合分析模型的价格信息;消息摘要为根据该聚合分析模型所包括的除消息摘要外的信息以及消息摘要算法生成的摘要信息,其中消息摘要算法可以为现有任意一种消息摘要算法。另外,该基础模型还可以包括功能说明等信息,以便于用户了解该聚合分析模型的功能。
[0082] 可选地,该步骤中,聚合分析中心将各聚合分析模型进行发布之后,聚合分析中心根据发布的聚合分析模型生成新的区块,该区块可以包括发布的聚合分析模型的标识等信息,并将该区块添加到区块链的末尾。
[0083] 需要说明的是,上述步骤S201-S203的过程是由聚合分析中心和各数据机构、第三方机构联合获取到聚合分析模型的过程,该过程可以根据实际需要周期性地进行,以周期性地更新聚合分析模型;或者,各数据机构可以不定期地发布新的样本数据和元数据,每当数据机构发布新的样本数据和元数据时,第三方机构根据各数据机构新发布的样本数据和元数据、以及原有的样本数据和元数据,生成并向聚合分析中心提交新的第一模型,在聚合分析中心和对应的数据机构验证通过后,作为新的聚合分析模型。本实施例中,可以由技术人员根据实际需要设定上述步骤S201-S203的过程的运行时机,本实施例对此不做具体限定。
[0084] 步骤S204、聚合分析中心接收用户提交的订单信息,订单信息至少包括目标模型的标识和目标模型对应的至少一个数据机构标识,目标模型为任一已发布的聚合分析模型,目标模型包括聚合模型和至少一个基础模型,每个基础模型对应于唯一的一个数据机构。
[0085] 本实施例中,聚合分析中心为独立于各数据机构的服务器、集群等计算机设备。聚合分析中心不属于任何一个数据机构,而是多个数据机构的管理中心,与多个数据机构共同构成一个大数据的交易平台,对外提供大数据商品。
[0086] 其中,聚合分析模型包括聚合模型和至少一个基础模型,每个基础模型对应于唯一的一个数据机构。对于任意一个聚合分析模型,进行聚合分析得到聚合分析结果的过程如下:
[0087] 对于该聚合分析模型的任一基础模型,由该基础模型对应的数据机构根据自身的原始数据通过该基础模型生成中间数据,作为该基础模型的中间数据;聚合分析中心汇总该聚合分析模型的各基础模型的中间数据,通过聚合模型对该聚合分析模型的各基础模型的中间数据进行聚合分析,得到该聚合分析模型的聚合分析结果。
[0088] 可选地,订单信息可以包括订单标识、目标模型标识、用户标识、数据机构标识和消息摘要等信息。聚合分析中心通过订单信息中的目标模型标识可以确定预设结算规则、目标模型对应的第三方机构和用户标识对应的公钥等信息。另外,订单信息还可以包括预设结算规则、目标模型对应的第三方机构标识和用户公钥等信息。其中,消息摘要为根据该订单信息包括的除消息摘要外的信息以及消息摘要算法生成的摘要信息,其中消息摘要算法可以为现有任意一种消息摘要算法。
[0089] 可选地,该步骤中,聚合分析中心接收用户提交的订单信息之后,聚合分析中心根据订单信息生成包括该订单信息的新的区块,并将该区块添加到区块链的末尾。
[0090] 步骤S205、聚合分析中心将订单信息发送给各数据机构标识对应的数据机构,以使各数据机构根据订单信息中的目标模型的标识,确定与自身对应的属于目标模型的基础模型,并根据与自身对应的属于目标模型的基础模型生成中间数据,并将中间数据发送给聚合分析中心。
[0091] 该步骤与上述步骤S102相同,本实施例此处不再赘述。
[0092] 本实施例中,中间数据可以包括以下信息:聚合分析模型标识、用户标识、数据机构标识、聚合模型标识、中间数据主体和消息摘要。其中,聚合分析模型标识为订单信息中的目标模型标识;用户标识对应于订单信息中的用户标识;数据机构标识为生成该中间数据的数据机构自身的标识;聚合模型标识为该中间数据包括的聚合分析模型标识对应的目标模型的聚合模型的标识。消息摘要为根据该中间数据包括的除消息摘要外的信息以及消息摘要算法生成的摘要信息,其中消息摘要算法可以为现有任意一种消息摘要算法。
[0093] 步骤S206、聚合分析中心接收各数据机构发送的中间数据。
[0094] 该步骤与上述步骤S103相同,本实施例此处不再赘述。
[0095] 可选地,该步骤中,聚合分析中心接收各数据机构发送的中间数据之后,聚合分析中心根据接收到的中间数据生成新的区块,该区块包括中间数据、订单标识、接收时间等信息,并将该区块添加到区块链的末尾。
[0096] 步骤S207、聚合分析中心通过目标模型的聚合模型,对各中间数据进行聚合分析,得到聚合分析结果。
[0097] 可选地,聚合分析中心可以为一个服务器、或者还可以包括多个聚合节点,不同的聚合节点分别负责不同聚合分析模型的聚合分析处理过程,例如,可以是由多个聚合节点构成的集群,以加快聚合分析中心的计算效率,从而可以提高聚合分析处理的效率。
[0098] 可选地,聚合分析结果可以包括以下信息:聚合分析模型标识、用户标识、聚合模型标识、聚合分析结果主体和消息摘要等。其中,聚合分析模型标识为订单信息中的目标模型标识;用户标识对应于订单信息中的用户标识;聚合模型标识为该聚合分析结果包括的聚合分析模型标识对应的目标模型的聚合模型的标识;消息摘要为根据该中间数据包括的除消息摘要外的信息以及消息摘要算法生成的摘要信息,其中消息摘要算法可以为现有任意一种消息摘要算法。
[0099] 另外,本实施例中,订单信息可以包括一个或者多个目标模型的标识,分别针对每一个目标模型通过步骤S204-S207进行聚合分析处理得到与该目标模型对应的聚合分析结果,对每个目标模型进行聚合分析处理的过程相同,本实施例此处不再赘述。
[0100] 可选地,该步骤中,聚合分析中心得到聚合分析结果之后,聚合分析中心根据得到的聚合分析结果生成新的区块,该区块包括目标模型标识、订单标识、聚合分析结果等信息,并将该区块添加到区块链的末尾。
[0101] 步骤S208、聚合分析中心将聚合分析结果反馈给用户。
[0102] 本实施例中,在聚合分析中心根据各中间数据和目标模型的聚合模型,进行聚合分析,得到聚合分析结果之后,还可以将聚合分析结果反馈给用户,已完成对用户订单信息的响应,从而完成与用户的大数据商品的交易。
[0103] 可选地,为了保证数据的安全性,聚合分析中心采用用户的公钥对聚合分析结果进行加密,以使用户在接收到聚合分析机构的加密数据后,使用自己的私钥进行解码,从而可以得到聚合分析结果。
[0104] 步骤S209、聚合分析中心通过智能合约的方式根据预设结算规则进行费用结算。
[0105] 其中,预设结算规则包括目标模型的价格、对应于该目标模型各数据机构应该被支付的费用占用户支付费用的比例、以及第三方机构应该被支付的费用占用户支付费用的比例等。预设结算规则可以由聚合分析中心与各数据机构和第三方机构预先协商设定,本实施例对于预设结算规则的具体内容不做具体限定。
[0106] 该步骤中,在将聚合分析结果反馈给用户时,触发智能合约,通过智能合约自动实现根据预设结算规则,计算出各数据机构和/或第三方机构应该被支付的费用,完成费用的自动结算。
[0107] 可选地,在通过智能合约的方式根据预设结算规则进行费用结算之后,聚合分析中心还可以生成结算账单信息,以记录本次结算。
[0108] 结算账单信息可以包括:订单标识、聚合分析模型标识、用户标识、数据机构标识、第三方机构标识、结算信息、以及消息摘要等信息。其中,订单标识对应于订单信息中的订单标识;聚合分析模型标识对应于订单信息中的目标模型的标识;用户标识对应于订单信息中的用户标识;数据机构标识包括该结算账单信息中的聚合分析模型标识对应的目标模型的各基础模型对应的数据机构的标识;第三方机构标识为完成该结算账单信息中的聚合分析模型标识对应的目标模型开发的第三方机构的标识;结算信息可以包括本次费用结算中各数据机构、第三方机构和聚合分析中心分别获得的费用信息;消息摘要为根据该结算账单信息包括的除消息摘要外的信息以及消息摘要算法生成的摘要信息,其中消息摘要算法可以为现有任意一种消息摘要算法。
[0109] 可选地,该步骤中,聚合分析中心通过智能合约的方式根据预设结算规则进行费用结算之后,聚合分析中心根据本次费用结算过程生成新的区块,该区块包括结算账单信息,并将该区块添加到区块链的末尾。在本实施例中,为了保证数据的安全性,聚合分析中心、数据机构和第三方机构中任意两者在进行交互的过程中,均采用两者预先约定的秘钥对数据进行加密传输,以保证数据传输的安全性。
[0110] 另外,在本发明另一实施例中,聚合分析中心、数据机构均可以通过智能合约的方式实现上述功能的自动执行,本实施例此处不再赘述。
[0111] 优选地,所述聚合分析中心通过所述目标模型的聚合模型,对各所述中间数据进行聚合分析,得到聚合分析结果,可以采用以下方式实现:所述聚合分析中心采用智能合约的方式,通过所述目标模型的聚合模型对各所述中间数据进行聚合分析,得到聚合分析结果。由于智能合约能保证自动执行约定功能的过程中不被中断,通过智能合约的方式实现聚合分析的过程可以提高聚合分析过程的安全性,使得各数据机构对聚合分析中心的处理过程更加信任。
[0112] 可选地,所述聚合分析中心采用智能合约的方式与各所述数据机构进行数据传输,各数据机构之间、聚合分析中心与第三方机构之间进行的数据传输也采用智能合约的方式实现,可以确保各机构之间数据传输过程的安全性。
[0113] 在本实施例的另一实时方式中,所述聚合模型包括至少两层聚合子模型。所述聚合分析中心通过所述目标模型的聚合模型,对各所述中间数据进行聚合分析,得到聚合分析结果,包括:所述聚合分析中心通过所述目标模型的第一层聚合子模型,对各所述中间数据进行聚合分析,得到第一层中间分析结果;所述聚合分析中心通过除所述第一层聚合子模型之外的各层聚合子模型,对上一层聚合子模型的中间分析结果进行聚合分析,得到本层的中间分析结果;通过最后一层聚合子模型进行聚合分析得到的最后一层的中间分析结果作为所述聚合分析结果。
[0114] 本发明实施例通过由第三方机构专门负责根据各数据机构提供的样本数据和元数据生成的第一模型,由聚合分析中心和各数据机构共同对第一模型进行测试,将测试通过的第一模型作为聚合分析模型,能够保证聚合分析模型的正确性,从而可以实现由聚合分析中心和各数据机构合作完成聚合分析处理过程,聚合分析中心无需从各数据机构批量购买或者交换原始数据,从而可以提高各数据机构合作的积极性,简化了大数据聚合分析的流程,大大提高了聚合分析结果的时效性。
[0115] 实施例三
[0116] 图2为本发明实施例三提供的大数据聚合分析方法流程图。本发明实施例针对现有技术中聚合分析中心从其他数据机构批量购买原始数据的代价很大,与其他数据机构交换原始数据可能会因独有数据的分享而丧失自身的竞争优势,并且与其他数据机构协商合作等流程复杂,耗时较长,无法保证分析结果的时效性的问题,提供了大数据聚合分析方法。如图2所示,该方法具体步骤如下:
[0117] 步骤S301、数据机构接收聚合分析中心发送的订单信息,订单信息至少包括目标模型的标识和目标模型对应的至少一个数据机构标识,目标模型为任一已发布的聚合分析模型,目标模型包括聚合模型和至少一个基础模型,每个基础模型对应于唯一的一个数据机构。
[0118] 其中,聚合分析模型包括聚合模型和至少一个基础模型,每个基础模型对应于唯一的一个数据机构。对于任意一个聚合分析模型,进行聚合分析得到聚合分析结果的过程如下:
[0119] 对于该聚合分析模型的任一基础模型,由该基础模型对应的数据机构根据自身的原始数据通过该基础模型生成中间数据,作为该基础模型的中间数据;聚合分析中心汇总该聚合分析模型的各基础模型的中间数据,通过聚合模型对该聚合分析模型的各基础模型的中间数据进行聚合分析,得到该聚合分析模型的聚合分析结果。
[0120] 本实施中,用户通过订单信息订购的大数据商品是指订单信息中的目标模型的标识所标识的目标模型对应的聚合分析结果。用户根据已经发布的聚合分析模型的发布信息,可以根据自己的需要选定其中一个已经发布的聚合分析模型作为目标模型,提交订单,以订购目标模型对应的聚合分析结果。聚合中心在接收到订单信息之后,会将订单信息转发给数据机构。
[0121] 步骤S302、数据机构根据订单信息中的目标模型的标识、以及自身存储的各聚合分析模型,确定与自身对应的属于目标模型的基础模型。
[0122] 本实施例中,各数据机构预先存储有各个聚合分析模型。该步骤中,数据机构根据订单信息中的目标模型的标识、以及预先存储的各聚合分析模型,确定与自身对应的目标模型,进一步确定与自身对应的属于目标模型的基础模型,并根据与自身对应的属于目标模型的基础模型以及自身的原始数据生成中间数据,并将中间数据发送给聚合分析中心。
[0123] 步骤S303、数据机构根据与自身对应的属于目标模型的基础模型,生成中间数据。
[0124] 其中,中间数据包括其对应的基础模型的标识,以使聚合分析中心可以将基础模型与中间数据进行对应。
[0125] 可选地,中间数据还可以包括目标模型的标识,也即是中间数据对应的基础模型所属的聚合分析模型的标识,以便于聚合分析中心在同时处理多个订单信息时,能够区分不同的目标模型的中间数据。
[0126] 步骤S304、数据机构将中间数据发送给聚合分析中心,以使聚合分析中心通过目标模型的聚合模型,对接收到的各中间数据进行聚合分析,得到聚合分析结果。
[0127] 本发明实施例通过将聚合分析模型分为基础模型和聚合模型两个层次,聚合分析中心接收到的订单信息至少包括目标模型的标识和目标模型对应的至少一个数据机构标识,聚合分析中心将订单信息发送给各数据机构标识对应的数据机构,由各数据机构根据自身的原始数据和基础模型生成中间数据,再由聚合分析中心汇总各数据机构生成的中间数据,通过目标模型的聚合模型,对各中间数据进行聚合分析得到聚合分析结果,从而由各数据机构直接提供中间数据,聚合分析中心无需从各数据机构批量购买或者交换原始数据,从而在各数据机构无需与聚合分析中心或其他数据机构分享原始数据的前提下,合作完成聚合分析处理过程,得到各聚合分析模型对应的聚合分析结果,从而可以提高各数据机构合作的积极性,简化了大数据聚合分析的流程,大大提高了聚合分析结果的时效性。
[0128] 实施例四
[0129] 在上述实施例三的基础上,本实施例中,数据机构接收聚合分析中心发送的订单信息之前,还包括:数据机构接收聚合分析中心发送的各聚合分析模型,并存储。本发明实施例四提供的大数据聚合分析方法具体步骤如下:
[0130] 步骤S401、数据机构接收聚合分析中心发送的第一模型,第一模型为第一模型为第三方机构根据数据机构提供的样本数据和元数据生成的未经过测试的聚合分析模型。
[0131] 本实施例中,数据机构可以不定期地发布新的样本数据和元数据,以使第三方机构可以根据各数据机构提供的样本数据和元数据,从中自由选取样本数和元数据,根据选取的样本数据和元数据开发聚合分析模型,作为第一模型,将第一模型及其对应的样本数据提交到聚合分析中心,聚合分析中心联合各数据机构对第一模型进行测试,测试通过的第一模型可以作为聚合分析模型。
[0132] 其中,样本数据是指各数据机构提供的与原始数据相对应的示例数据;元数据是指原始数据和样本数据的格式信息。
[0133] 本实施例中,第一模型的聚合模型至少包括以下信息:模型标识、中间数据来源信息、基础模型标识、分析结果、模型主体、第三方机构标识和消息摘要。其中,模型标识用于唯一标识该聚合模型;中间数据来源信息用于说明作为该聚合模型的输入数据的中间数据及其来源,也就是中间数据以及其对应的基础模型标识;基础模型标识可以为多个基础模型的标识,用于说明该聚合模型需要哪些基础模型对应的中间数据;分析结果用于说明聚合模型应得到的聚合分析结果的信息;第三方机构标识为完成该聚合模型开发的第三方机构的标识;消息摘要为根据聚合模型所包括的除消息摘要外的信息以及消息摘要算法生成的摘要信息,其中消息摘要算法可以为现有任意一种消息摘要算法。另外,聚合模型还可以包括功能说明等信息,以便于聚合分析中心和各数据机构了解聚合模型的功能。
[0134] 步骤S402、数据机构对第一模型的基础模型进行测试。
[0135] 本实施例中,第一模型的基础模型至少包括以下信息:模型标识、样本数据来源、中间数据、模型主体、第三方机构标识和消息摘要。其中,模型标识用于唯一标识该基础模型;样本数据来源用于说明作为该基础模型的输入数据的样本数据及其来源,中间数据用于说明该基础模型应得到的中间数据的信息;第三方机构标识为完成该基础模型开发的第三方机构的标识;消息摘要为根据该基础模型所包括的除消息摘要外的信息以及消息摘要算法生成的摘要信息,其中消息摘要算法可以为现有任意一种消息摘要算法。另外,该基础模型还可以包括功能说明等信息,以便于聚合分析中心和各数据机构了解该基础模型的功能。
[0136] 本实施例中,数据机构根据自身的原始数据和第一模型的基础模型包括的信息,对基础模型进行测试,验证通过该基础模型是否可以得到该基础模型中预期的中间数据。另外,数据机构还可以通过验证基础模型消息摘要来验证基础模型的有效性和安全性。
[0137] 本实施例中,初始建立一个区块链,可以将步骤S201-S209中的关键信息记录到该区块链中,以实现整个处理过程中关键处理过程的记录,便于发现恶意行为。
[0138] 可选地,该步骤中,各数据机构发布新的样本数据和元数据之后,根据新发布的样本数据和元数据生成新的区块,该区块可以包括样本数据和元数据的摘要信息、数据机构标识、发布时间等信息,并将该区块添加到区块链的末尾。
[0139] 可选地,各数据机构对第一模型的基础数据测试之后,生成包含测试结果的新的区块,将该区块添加到区块链的末尾。
[0140] 可选地,第三方机构向聚合分析中心提交第一模型之后,根据第一模型的信息生成新的区块,该区块可以包括:第三方机构标识、第一模型标识、聚合模型的消息摘要以及基础模型的消息摘要等信息,并将该区块连接到区块链中。
[0141] 步骤S403、若对第一模型的基础模型测试通过,则数据机构生成第一模型的基础模型的中间数据。
[0142] 该步骤中,若对第一模型的基础模型测试通过,数据机构根据原始数据和该验证通过基础模型生成中间数据。
[0143] 步骤S404、数据机构向聚合分析中心反馈各第一模型的基础模型的测试结果、以及测试通过的第一模型的基础模型的中间数据。
[0144] 该步骤中,数据机构根据原始数据和该验证通过基础模型生成中间数据之后,向聚合分析中心反馈各第一模型的基础模型的测试结果、以及测试通过的第一模型的基础模型的中间数据,以使聚合分析中心可以根据第一模型的基础模型的测试结果、以及测试通过的第一模型的基础模型的中间数据,对第一模型的聚合模型进行测试。
[0145] 步骤S405、数据机构接收聚合分析中心发送的各聚合分析模型,并存储。
[0146] 在获取到各聚合分析模型后,聚合分析中心可以将各聚合分析模型发送给各数据机构,各数据机构接收并存储聚合分析中心发送的各聚合分析模型,以便于后续根据订单信息指定的目标模型的标识就可以确定目标模型的基础模型,并可以进一步确定与自身对应的属于目标模型的基础模型,从而可以根据与自身对应的属于目标模型的基础模型、以及预先存储的原始数据,生成中间数据。
[0147] 需要说明的是,上述步骤S401-S405的过程是由聚合分析中心和各数据机构、第三方机构联合获取到聚合分析模型的过程,该过程可以根据实际需要周期性地进行,以周期性地更新聚合分析模型;或者,各数据机构可以不定期地发布新的样本数据和元数据,每当数据机构发布新的样本数据和元数据时,第三方机构根据各数据机构新发布的样本数据和元数据、以及原有的样本数据和元数据,生成并向聚合分析中心提交新的第一模型,在聚合分析中心和对应的数据机构验证通过后,作为新的聚合分析模型。本实施例中,可以由技术人员根据实际需要设定上述步骤S401-S405的过程的运行时机,本实施例对此不做具体限定。
[0148] 步骤S406、数据机构接收聚合分析中心发送的订单信息,订单信息至少包括目标模型的标识和目标模型对应的至少一个数据机构标识,目标模型为任一已发布的聚合分析模型,目标模型包括聚合模型和至少一个基础模型,每个基础模型对应于唯一的一个数据机构。
[0149] 该步骤与上述步骤S301相同,本实施例此处不再赘述。
[0150] 步骤S407、数据机构根据订单信息中的目标模型的标识、以及自身存储的各聚合分析模型,确定与自身对应的属于目标模型的基础模型。
[0151] 该步骤与上述步骤S302相同,本实施例此处不再赘述。
[0152] 步骤S408、数据机构根据与自身对应的属于目标模型的基础模型,生成中间数据。
[0153] 该步骤与上述步骤S303相同,本实施例此处不再赘述。
[0154] 可选地,该步骤中,数据机构根据与自身对应的属于目标模型的基础模型,生成中间数据之后,数据机构根据生成的中间数据生成新的区块,该区块包括中间数据、订单标识、生成时间等信息,并将该区块添加到区块链的末尾,以供聚合分析中心对接收到的中间数据的真实性和完整性进行验证。
[0155] 步骤S409、数据机构将中间数据发送给聚合分析中心,以使聚合分析中心通过目标模型的聚合模型,对接收到的各中间数据进行聚合分析,得到聚合分析结果。
[0156] 可选地,聚合分析结果可以包括以下信息:聚合分析模型标识、用户标识、聚合模型标识、聚合分析结果主体和消息摘要等。其中,聚合分析模型标识为订单信息中的目标模型标识;用户标识对应于订单信息中的用户标识;聚合模型标识为该聚合分析结果包括的聚合分析模型标识对应的目标模型的聚合模型的标识;消息摘要为根据该中间数据包括的除消息摘要外的信息以及消息摘要算法生成的摘要信息,其中消息摘要算法可以为现有任意一种消息摘要算法。
[0157] 另外,本实施例中,订单信息可以包括一个或者多个目标模型的标识,分别针对每一个目标模型进行聚合分析处理得到与该目标模型对应的聚合分析结果,对每个目标模型进行聚合分析处理的过程相同,本实施例此处不再赘述。
[0158] 在本实施例中,为了保证数据的安全性,聚合分析中心、数据机构和第三方机构中任意两者在进行交互的过程中,均采用两者预先约定的秘钥对数据进行加密传输,以保证数据传输的安全性。
[0159] 另外,在本发明另一实施例中,聚合分析中心、数据机构均可以通过智能合约的方式实现上述功能的自动执行,本实施例此处不再赘述。
[0160] 本发明实施例通过由第三方机构专门负责根据各数据机构提供的样本数据和元数据生成的第一模型,由聚合分析中心和各数据机构共同对第一模型进行测试,将测试通过的第一模型作为聚合分析模型,能够保证聚合分析模型的正确性,从而可以实现由聚合分析中心和各数据机构合作完成聚合分析处理过程,聚合分析中心无需从各数据机构批量购买或者交换原始数据,从而可以提高各数据机构合作的积极性,简化了大数据聚合分析的流程,大大提高了聚合分析结果的时效性。
[0161] 实施例五
[0162] 图3为本发明实施例五提供的大数据聚合分析装置的结构示意图。本发明实施例提供的大数据聚合分析装置可以执行大数据聚合分析方法实施例提供的处理流程。如图3所示,该装置50包括:第一通信模块501、第二通信模块502和聚合分析模块503。
[0163] 具体地,第一通信模块501用于聚合分析中心接收用户提交的订单信息,订单信息至少包括目标模型的标识和目标模型对应的至少一个数据机构标识,目标模型为任一已发布的聚合分析模型,目标模型包括聚合模型和至少一个基础模型,每个基础模型对应于唯一的一个数据机构。
[0164] 第二通信模块502用于聚合分析中心将订单信息发送给各数据机构标识对应的数据机构,以使各数据机构根据订单信息中的目标模型的标识以及存储的目标模型,确定与自身对应的属于目标模型的基础模型,并根据与自身对应的属于目标模型的基础模型生成中间数据,并将中间数据发送给聚合分析中心。
[0165] 第二通信模块502还用于聚合分析中心接收各数据机构发送的中间数据。
[0166] 聚合分析模块503用于聚合分析中心通过目标模型的聚合模型,对各中间数据进行聚合分析,得到聚合分析结果。
[0167] 可选地,第一通信模块501和第二通信模块502可以为网关。
[0168] 本发明实施例提供的装置可以具体用于执行上述实施例一所提供的方法实施例,具体功能此处不再赘述。
[0169] 本发明实施例通过将聚合分析模型分为基础模型和聚合模型两个层次,聚合分析中心接收到的订单信息至少包括目标模型的标识和目标模型对应的至少一个数据机构标识,聚合分析中心将订单信息发送给各数据机构标识对应的数据机构,由各数据机构根据自身的原始数据和基础模型生成中间数据,再由聚合分析中心汇总各数据机构生成的中间数据,通过目标模型的聚合模型,对各中间数据进行聚合分析得到聚合分析结果,从而由各数据机构直接提供中间数据,聚合分析中心无需从各数据机构批量购买或者交换原始数据,从而在各数据机构无需与聚合分析中心或其他数据机构分享原始数据的前提下,合作完成聚合分析处理过程,得到各聚合分析模型对应的聚合分析结果,从而可以提高各数据机构合作的积极性,简化了大数据聚合分析的流程,大大提高了聚合分析结果的时效性。
[0170] 实施例六
[0171] 在上述实施例五的基础上,本实施例中,装置50还包括:模型生成模块和发布模块。
[0172] 具体地,模型生成模块用于聚合分析中心获取至少一个聚合分析模型。
[0173] 第二通信模块还用于聚合分析中心将各聚合分析模型发送给各数据机构,以使各数据机构存储各聚合分析模型。
[0174] 发布模块用于聚合分析中心将各聚合分析模型进行发布,以使用户根据各聚合分析模型的发布信息提交订单信息,以订购目标模型的聚合分析结果。
[0175] 可选地,模型生成模块包括:第一获取子模块和测试子模块。
[0176] 其中,第一获取子模块用于聚合分析中心获取第三方机构根据各数据机构提供的样本数据和元数据生成的第一模型,第一模型为未经过测试的聚合分析模型。
[0177] 第二通信子模块还用于聚合分析中心将第一模型发送给各数据机构,以使各数据机构对第一模型的基础模型进行测试,并向聚合分析中心反馈各第一模型的基础模型的测试结果、以及测试通过的第一模型的基础模型的中间数据。
[0178] 测试子模块用于聚合分析中心根据测试结果、以及测试通过的第一模型的基础模型的中间数据,对第一模型的聚合模型进行测试;聚合分析中心将测试通过的第一模型作为聚合分析模型。
[0179] 本实施例中,测试子模块还用于:聚合分析中心将每个第一模型作为待测模型,根据测试结果,若待测模型的任一基础模型测试不通过,则确定待测模型测试不通过;若待测模型的各基础模型均测试通过,则根据待测模型的基础模型对应的中间数据,对待测模型的聚合模型进行测试;若对待测模型的聚合模型测试通过,则确定待测模型测试通过。
[0180] 可选地,该装置50还可以包括结算模块。
[0181] 第一通信模块还用于聚合分析中心将聚合分析结果反馈给用户。
[0182] 结算模块用于聚合分析中心通过智能合约的方式根据预设结算规则进行费用结算。
[0183] 本发明实施例提供的装置可以具体用于执行上述实施例二所提供的方法实施例,具体功能此处不再赘述。
[0184] 本发明实施例通过由第三方机构专门负责根据各数据机构提供的样本数据和元数据生成的第一模型,由聚合分析中心和各数据机构共同对第一模型进行测试,将测试通过的第一模型作为聚合分析模型,能够保证聚合分析模型的正确性,从而可以实现由聚合分析中心和各数据机构合作完成聚合分析处理过程,聚合分析中心无需从各数据机构批量购买或者交换原始数据,从而可以提高各数据机构合作的积极性,简化了大数据聚合分析的流程,大大提高了聚合分析结果的时效性。
[0185] 实施例七
[0186] 图4为本发明实施例七提供的大数据聚合分析装置的结构示意图。本发明实施例提供的大数据聚合分析装置可以执行大数据聚合分析方法实施例提供的处理流程。如图4所示,该装置70包括:接收模块701、确定模块702、生成模块703和发送模块704。
[0187] 具体地,接收模块701用于数据机构接收聚合分析中心发送的订单信息,订单信息至少包括目标模型的标识和目标模型对应的至少一个数据机构标识,目标模型为任一已发布的聚合分析模型,目标模型包括聚合模型和至少一个基础模型,每个基础模型对应于唯一的一个数据机构。
[0188] 确定模块702用于数据机构根据订单信息中的目标模型的标识、以及自身存储的各聚合分析模型,确定与自身对应的属于目标模型的基础模型。
[0189] 生成模块703用于数据机构根据与自身对应的属于目标模型的基础模型,生成中间数据。
[0190] 发送模块704用于数据机构将中间数据发送给聚合分析中心,以使聚合分析中心通过目标模型的聚合模型,对接收到的各中间数据进行聚合分析,得到聚合分析结果。
[0191] 本发明实施例提供的装置可以具体用于执行上述实施例三所提供的方法实施例,具体功能此处不再赘述。
[0192] 本发明实施例通过将聚合分析模型分为基础模型和聚合模型两个层次,聚合分析中心接收到的订单信息至少包括目标模型的标识和目标模型对应的至少一个数据机构标识,聚合分析中心将订单信息发送给各数据机构标识对应的数据机构,由各数据机构根据自身的原始数据和基础模型生成中间数据,再由聚合分析中心汇总各数据机构生成的中间数据,通过目标模型的聚合模型,对各中间数据进行聚合分析得到聚合分析结果,从而由各数据机构直接提供中间数据,聚合分析中心无需从各数据机构批量购买或者交换原始数据,从而在各数据机构无需与聚合分析中心或其他数据机构分享原始数据的前提下,合作完成聚合分析处理过程,得到各聚合分析模型对应的聚合分析结果,从而可以提高各数据机构合作的积极性,简化了大数据聚合分析的流程,大大提高了聚合分析结果的时效性。
[0193] 实施例八
[0194] 在上述实施例七的基础上,本实施例中,装置70还包括:测试模块。
[0195] 本实施例中,接收模块还用于:
[0196] 数据机构接收聚合分析中心发送的各聚合分析模型,并存储。
[0197] 接收模块还用于数据机构接收聚合分析中心发送的第一模型,第一模型为第一模型为第三方机构根据数据机构提供的样本数据和元数据生成的未经过测试的聚合分析模型。
[0198] 测试模块用于数据机构对第一模型的基础模型进行测试。
[0199] 生成模块还用于若对第一模型的基础模型测试通过,则生成第一模型的基础模型的中间数据。
[0200] 发送模块还用于数据机构向聚合分析中心反馈各第一模型的基础模型的测试结果、以及测试通过的第一模型的基础模型的中间数据。
[0201] 可选地,该装置70还可以包括发布模块。
[0202] 发布模块用于数据机构可以不定期地发布新的样本数据和元数据,以使第三方机构可以根据各数据机构提供的样本数据和元数据,从中自由选取样本数和元数据,根据选取的样本数据和元数据开发聚合分析模型,作为第一模型,将第一模型及其对应的样本数据提交到聚合分析中心,进而使聚合分析中心联合各数据机构对第一模型进行测试,测试通过的第一模型可以作为聚合分析模型。
[0203] 本发明实施例提供的装置可以具体用于执行上述实施例四所提供的方法实施例,具体功能此处不再赘述。
[0204] 本发明实施例通过由第三方机构专门负责根据各数据机构提供的样本数据和元数据生成的第一模型,由聚合分析中心和各数据机构共同对第一模型进行测试,将测试通过的第一模型作为聚合分析模型,能够保证聚合分析模型的正确性,从而可以实现由聚合分析中心和各数据机构合作完成聚合分析处理过程,聚合分析中心无需从各数据机构批量购买或者交换原始数据,从而可以提高各数据机构合作的积极性,简化了大数据聚合分析的流程,大大提高了聚合分析结果的时效性。
[0205] 在本发明所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
[0206] 作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0207] 本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本发明的其它实施方案。本发明旨在涵盖本发明的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本发明的真正范围和精神由下面的权利要求书指出。
[0208] 应当理解的是,本发明并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求书来限制。