大数据平台安全访问系统、方法及电子设备

摘要

本发明公开了一种大数据平台安全访问系统、方法、电子设备及计算机存储介质。其中系统，包括：权限认证模块，适于管理用户角色对数据资源的权限信息；数据加解密模块，适于对写入的数据进行加密；以及对读取的数据进行解密；审计模块，适于实时收集数据操作日志，并将数据操作日志与告警规则进行匹配，若数据操作日志与告警规则匹配，则对数据操作日志对应的数据操作进行实时报警；网关模块，适于利用预设规则对流入/流出网关的数据进行规则检测，对符合预设规则的数据访问进行报警或阻断，从而提升了数据的安全性，以及提高了访问大数据平台的安全性。

权利要求

1.一种大数据平台安全访问系统，包括：权限认证模块，适于管理用户角色对数据资源的权限信息；

数据加解密模块，适于对写入的数据进行加密；以及对读取的数据进行解密；

审计模块，适于实时收集数据操作日志，并将所述数据操作日志与告警规则进行匹配，若数据操作日志与告警规则匹配，则对所述数据操作日志对应的数据操作进行实时报警，所述告警规则是通过对历史报警的数据操作对应的数据操作日志进行训练得到的；

网关模块，适于利用预设规则对流入/流出网关的数据进行规则检测，对符合预设规则的数据访问进行报警或阻断；

所述系统还包括：密钥数据库，适于存储具有数据键值对形式的密钥，其中，密钥标识作为数据键，密钥串作为数据值；

所述数据加解密模块进一步适于：写入数据时，从所述密钥数据库中随机获取一未被使用的密钥标识，将所述密钥标识写入文件头以实现对写入的数据进行加密；

读取数据时，获取文件头中的密钥标识，根据所述密钥标识查询密钥数据库，得到所述密钥标识对应的密钥串，利用所述密钥串对读取的数据进行解密；

其中，所述权限认证模块包括：

用户角色管理单元，适于管理用户信息以及用户信息对应的用户角色；

资源管理单元，适于对不同数据存储格式的数据存储系统的数据资源进行格式统一化处理，并将处理后的数据资源存储至平台数据库；

权限管理单元，适于管理用户角色对数据资源的权限信息。

2.根据权利要求1所述的系统，其中，所述权限认证模块还包括：IP地址白名单，适于存储具有访问权限的客户端的IP地址。

3.根据权利要求1所述的系统，其中，不同数据存储格式的数据存储系统包括：Hbase数据存储系统、HDFS数据存储系统、Hive数据存储系统、和/或Yarn数据存储系统。

4.根据权利要求1所述的系统，其中，权限信息包括：读数据权限、写数据权限、删除权限和/或创建权限。

5.根据权利要求1所述的系统，其中，所述系统还包括：日志存储系统，适于存储实时收集的数据操作日志，以供客户端查询并追踪数据操作。

6.根据权利要求1‑5任一项所述的系统，其中，所述审计模块包括：模型训练单元，适于对历史报警的数据操作对应的数据操作日志进行训练，得到相应的告警规则。

7.一种大数据平台安全访问方法，包括：管理用户角色对数据资源的权限信息；

对写入的数据进行加密；以及对读取的数据进行解密；

实时收集数据操作日志，并将所述数据操作日志与告警规则进行匹配，若数据操作日志与告警规则匹配，则对所述数据操作日志对应的数据操作进行实时报警，所述告警规则是通过对历史报警的数据操作对应的数据操作日志进行训练得到的；

利用预设规则对流入/流出网关的数据进行规则检测，对符合预设规则的数据访问进行报警或阻断；

将具有数据键值对形式的密钥存储至密钥数据库，其中，密钥标识作为数据键，密钥串作为数据值；

所述对写入的数据进行加密进一步包括：写入数据时，从所述密钥数据库中随机获取一未被使用的密钥标识，将所述密钥标识写入文件头以实现对写入的数据进行加密；

所述对读取的数据进行解密进一步包括：读取数据时，获取文件头中的密钥标识，根据所述密钥标识查询密钥数据库，得到所述密钥标识对应的密钥串，利用所述密钥串对读取的数据进行解密；

其中，所述管理用户角色对数据资源的权限信息进一步包括：管理用户信息以及用户信息对应的用户角色；

对不同数据存储格式的数据存储方法的数据资源进行格式统一化处理，并将处理后的数据资源存储至平台数据库；

管理用户角色对数据资源的权限信息。

8.根据权利要求7所述的方法，其中，所述方法还包括：将具有访问权限的客户端对应的IP地址存储至IP地址白名单。

9.根据权利要求8所述的方法，其中，不同数据存储格式的数据存储系统包括：Hbase数据存储系统、HDFS数据存储系统、Hive数据存储系统、和/或Yarn数据存储系统。

10.根据权利要求7所述的方法，其中，权限信息包括：读数据权限、写数据权限、删除权限和/或创建权限。

11.根据权利要求7所述的方法，其中，所述方法还包括：将实时收集的数据操作日志存储至日志存储系统，以供客户端查询并追踪数据操作。

12.一种电子设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；

所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如权利要求7‑11任一项所述的大数据平台安全访问方法对应的操作。

13.一种计算机可读存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行如权利要求7‑11任一项所述的大数据平台安全访问方法对应的操作。

说明书

大数据平台安全访问系统、方法及电子设备

技术领域

[0001] 本发明涉及大数据处理技术领域，具体涉及一种大数据平台安全访问系 统、方法、电子设备及计算机存储介质。

背景技术

[0002] 目前，随着电子商务、社交网络、物联网、云计算以及移动互联网的全 面普及，各种各样的数据资源正呈现爆发性、多样性的增长态势，大数据时 代悄然来临。

[0003] 随着数据系统的应用越来越广泛，其安全性非常重要：大数据市场年增 迅速，近5年平均增速50％以上，数据爆发式增长，使得信息成为战略资产； 大数据技术影响到国家
治理、企业决策和人民生活等等；然而对大数据应用 给信息安全提出了新的挑战；安全威
胁大大提高，攻击者背景更加复杂

[0004] 综上所述可以看出，如何提高大数据平台中数据的安全性是目前亟待解 决的问题。

发明内容

[0005] 鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分 地解决上述问题的大数据平台安全访问系统、方法、电子设备及计算机存储 介质。

[0006] 根据本发明的一个方面，提供了一种大数据平台安全访问系统，包括：

[0007] 权限认证模块，适于管理用户角色对数据资源的权限信息；

[0008] 数据加解密模块，适于对写入的数据进行加密；以及对读取的数据进行 解密；

[0009] 审计模块，适于实时收集数据操作日志，并将数据操作日志与告警规则 进行匹配，若数据操作日志与告警规则匹配，则对数据操作日志对应的数据 操作进行实时报警；

[0010] 网关模块，适于利用预设规则对流入/流出网关的数据进行规则检测，对 符合预设规则的数据访问进行报警或阻断。

[0011] 根据本发明的另一方面，提供了一种大数据平台安全访问方法，包括：

[0012] 管理用户角色对数据资源的权限信息；

[0013] 对写入的数据进行加密；以及对读取的数据进行解密；

[0014] 实时收集数据操作日志，并将数据操作日志与告警规则进行匹配，若数 据操作日志与告警规则匹配，则对数据操作日志对应的数据操作进行实时报 警；

[0015] 利用预设规则对流入/流出网关的数据进行规则检测，对符合预设规则的 数据访问进行报警或阻断。

[0016] 根据本发明的又一方面，提供了一种电子设备，包括：处理器、存储器、 通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通 信总线完成相互间的通
信；

[0017] 所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器 执行上述大数据平台安全访问方法对应的操作。

[0018] 根据本发明的再一方面，提供了一种计算机存储介质，所述存储介质中 存储有至少一可执行指令，所述可执行指令使处理器执行如上述大数据平台 安全访问方法对应的
操作。

[0019] 根据本发明提供的方案，管理用户角色对数据资源的权限信息，为用户 角色分配对应的访问权限，能够禁止非法用户对大数据平台的数据访问，提 升了数据的安全性；对
写入的数据进行加密，加密后，数据以密文的方式存 储，防止了数据直接暴露，同时增强对
加密数据的访问控制，大大降低了数 据被泄漏和恶意破坏的风险；以及对读取的数据进行
解密，实时收集数据操 作日志，并将所述数据操作日志与告警规则进行匹配，若数据操作
日志与告 警规则匹配，则对所述数据操作日志对应的数据操作进行实时报警，以及通 过
对流入/流出网关的数据进行规则检测，可以提高访问大数据平台的安全性。

[0020] 上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技 术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它 目的、特征和优点能够
更明显易懂，以下特举本发明的具体实施方式。

附图说明

[0021] 通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本 领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的， 而并不认为是对本发
明的限制。而且在整个附图中，用相同的参考符号表示 相同的部件。在附图中：

[0022] 图1示出了根据本发明一个实施例的大数据平台安全访问系统的结构示 意图；

[0023] 图2示出了根据本发明另一个实施例的大数据平台安全访问系统的结构 示意图；

[0024] 图3示出了根据本发明一个实施例的大数据平台安全访问方法的流程示 意图；

[0025] 图4示出了根据本发明另一个实施例的大数据平台安全访问方法的流程 示意图；

[0026] 图5示出了根据本发明一个实施例的电子设备的结构示意图。

具体实施方式

[0027] 下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示 了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不 应被这里阐述的实施
例所限制。相反，提供这些实施例是为了能够更透彻地 理解本公开，并且能够将本公开的
范围完整的传达给本领域的技术人员。

[0028] 图1示出了根据本发明一个实施例的大数据平台安全访问系统的结构示 意图。如图1所示，该系统100包括：权限认证模块110、数据加解密模块 120、审计模块130和网关模
块140。

[0029] 权限认证模块110，适于管理用户角色对数据资源的权限信息。

[0030] 其中，用户角色指用户所扮演的角色，该角色赋予了用户对数据资源的 权限，该用户可以访问而且只能访问自己被授权的数据资源，例如，一个论 坛网站中，“超级管理
员”、“版主”就是赋予用户的角色，版主可以管理 版内的帖子，即数据资源，例如删除帖子、
增加新的帖子。

[0031] 权限的本质是规则，其规定哪些用户可以做哪些事情，哪些用户不可以 做哪些事情的规则。通过给角色授权，然后将附有权限的角色施加到某个用 户身上，这样用户就可
以实施相应的权限了。角色的权限可以灵活改变，用 户的角色也可以随着场所的不同而发
生改变等。

[0032] 另外，权限认证模块还可以管理用户角色对对象资源的权限信息，例如， 允许或拒绝用户使用大数据平台提供的某个功能。

[0033] 数据加解密模块120，适于对写入的数据进行加密；以及对读取的数据进 行解密。

[0034] 具体地，当接收到数据写请求后，数据加解密模块对于需要写入至大数 据平台的数据要进行加密处理；当接收到数据读请求后，数据加解密模块对 于从大数据平台读取的
数据要进行解密处理。

[0035] 本实施例中对数据所进行的加解密过程，用户是无感知的，即，对数据 所进行的加/解密处理对用户而言是不可见的，对数据进行加密或者解密时无 需用户手动进行任何
操作，是数据加解密模块自动对写入的数据进行加密； 以及对读取的数据自动解密，由此
可以提高数据的安全性。

[0036] 审计模块130，适于实时收集数据操作日志，并将数据操作日志与告警规 则进行匹配，若数据操作日志与告警规则匹配，则对数据操作日志对应的数 据操作进行实时报
警。

[0037] 数据操作日志用于记录对数据资源所进行的操作，也就是说，对数据资 源所进行的任何操作都将被记录到数据操作日志中，当然，也可能包含一些 高危操作，若不对高危
操作做任何处理，则可能对大数据平台的访问安全性 造成影响，因此，审计模块可以实时
地收集数据操作日志，并将数据操作日 志与告警规则进行匹配，若数据操作日志与告警规
则匹配，则对数据操作日 志对应的数据操作进行实时报警，以供客户端根据报警信息进行
后续的处理， 例如拦截等，提高了访问大数据平台的安全性。

[0038] 网关模块140，适于利用预设规则对流入/流出网关的数据进行规则检测， 对符合预设规则的数据访问进行报警或阻断。

[0039] 写入数据时，数据需要经过网关才能写入到大数据平台的数据库，即流 入网关的数据；类似的，读取数据时，从大数据平台的数据库读取的数据需 经过网关才可被用户获
取到，即流出网关的数据，然而，不论是流入网关的 数据还是流出网关的数据都可能包含
危险数据，因此，需要利用预设规则对 流入/流出网关的数据进行规则检测，对符合预设规
则的数据访问进行报警或 阻断。

[0040] 根据本发明上述实施例提供的系统，管理用户角色对数据资源的权限信 息，为用户角色分配对应的访问权限，能够禁止非法用户对大数据平台的数 据访问，提升了数据的
安全性；对写入的数据进行加密，加密后，数据以密 文的方式存储，防止了数据直接暴露，
同时增强对加密数据的访问控制，大 大降低了数据被泄漏和恶意破坏的风险；以及对读取
的数据进行解密，实时 收集数据操作日志，并将数据操作日志与告警规则进行匹配，若数
据操作日 志与告警规则匹配，则对数据操作日志对应的数据操作进行实时报警，以及 通
过对流入/流出网关的数据进行规则检测，可以提高访问大数据平台的安全 性。

[0041] 图2示出了根据本发明另一个实施例的大数据平台安全访问系统的结构 示意图。如图2所示，该系统200包括：权限认证模块210、数据加解密模块 220、审计模块230和网关
模块240。

[0042] 权限认证模块210包括：用户角色管理单元211，适于管理用户信息以及 用户信息对应的用户角色。

[0043] 用户角色管理单元可以对用户信息进行管理，例如新增用户信息、修改 用户信息或删除用户信息，其中，用户信息包括但不限于：用户编码、用户 名、用户姓名、职务头衔、
移动电话、邮件地址等，当然，这里仅仅是举例 说明，不具有任何限定作用；另外，用户角色
管理单元还可以对用户信息对 应的用户角色进行管理，例如，修改/删除/新增用户信息对
应的用户角色，举 例说明，设定用户信息1对应的用户角色为设计师助理，用户角色管理单
元 对用户信息1对应的用户角色进行修改，修改为设计师。

[0044] 为了更好地管理用户信息，对用户信息进行分组归类，简称为用户分组， 而每个用户分组也可以具有自己的角色信息、权限信息，另外，每个用户分 组内的用户信息可以
对应相同的角色，以方便管理用户信息对应的用户角色。

[0045] 其中，每个用户分组的权限信息可用公式表示：组权限＝所属角色的权限 +组自身的权限。

[0046] 资源管理单元212，适于对不同数据存储格式的数据存储系统的数据资源 进行格式统一化处理，并将处理后的数据资源存储至平台数据库。

[0047] 大数据平台安全访问系统有其自身的平台数据库，例如MySQL数据库， 用于存储数据资源，在本实施例中，资源管理单元可以对不同数据存储格式 的数据存储系统的数据
资源进行格式统一化处理，使得数据资源具有统一的 格式，例如，目录结构格式，该目录结
构格式具体可以为表/列/目录/文件格 式，这里仅是举例说明，不具有任何限定作用。

[0048] 其中，不同数据存储格式的数据存储系统包括：Hbase数据存储系统、 HDFS数据存储系统、Hive数据存储系统和/或Yarn数据存储系统。具体地， Hbase数据存储系统中数据
存储格式为表/列；HDFS数据存储系统中数据存储 格式为目录/文件；Hive数据存储系统中
数据存储格式为库/表/列。

[0049] 权限管理单元213，适于管理用户角色对数据资源的权限信息。

[0050] 权限的本质是规则，其规定哪些用户可以做哪些事情，哪些用户不可以 做哪些事情的规则。通过给角色授权，然后将附有权限的角色施加到某个用 户身上，这样用户就可
以实施相应的权限了。角色的权限可以灵活改变，用 户的角色也可以随着场所的不同而发
生改变等。其中，权限信息包括：读数 据权限、写数据权限、删除权限和/或创建权限，这里
仅是举例说明，不具有 任何限定作用。

[0051] 该权限认证模块210还包括：IP地址白名单214，适于存储具有访问权 限的客户端的IP地址。

[0052] IP地址白名单存储了具有访问权限的客户端的IP地址，只有IP地址属 于IP地址白名单内的客户端才有权限访问数据资源，通过IP地址白名单和角 色限定数据资源的访
问权限，进一步提升了数据资源的安全性。

[0053] 该系统还包括：密钥数据库221，适于存储具有数据键值对形式的密钥， 其中，密钥标识作为数据键，密钥串作为数据值。

[0054] 密钥数据库221存储了大量的密钥，其中，密钥具有数据键值对 (Key‑Value)形式，密钥标识作为数据键Key，密钥串作为数据值Value， 根据密钥标识查询密钥数据库可
以得到密钥标识对应的密钥串。

[0055] 数据加解密模块220进一步适于：写入数据时，从密钥数据库中随机获 取一未被使用的密钥标识，将密钥标识写入文件头以实现对写入的数据进行 加密；

[0056] 具体地，密钥数据库221还可以存储密钥的使用状态，例如，已使用或 未使用，在将数据写入到大数据平台的数据库时，数据加解密模块可以根据 密钥的使用状态从密钥
数据库中随机获取一未被使用过的密钥标识，将密钥 标识写入文件头以实现对写入的数
据进行加密，在对数据进行加密后，还需 要对密钥数据库中密钥的使用状态进行更新，更
新为已使用，从而当再次写 入数据时，方便获取密钥标识来对写入的数据进行加密，其中，
密钥标识可 以是密钥ID。加密后，数据以密文的方式存储，防止了数据直接暴露，同时 增
强对加密数据的访问控制，大大降低了数据被泄漏和恶意破坏的风险。

[0057] 举例说明，密钥数据库中存储了：密钥ID1‑密钥串1，使用状态：未使 用；密钥ID2‑密钥串2，使用状态：已使用；密钥ID3‑密钥串3，使用状态： 未使用；

[0058] 当根据写请求写入数据1时，数据加解密模块根据密钥的使用状态从密 钥数据库中随机获取一未被使用过的密钥标识：密钥ID1，并将密钥ID1写 入文件头以实现对数据1
进行加密，在对数据进行加密后，还需要对密钥数 据库中密钥ID1对应的使用状态更新为
已使用。

[0059] 数据加解密模块220进一步适于：读取数据时，获取文件头中的密钥标 识，根据密钥标识查询密钥数据库，得到密钥标识对应的密钥串，利用密钥 串对读取的数据进行解
密。

[0060] 具体地，当根据读请求读取数据1时，需要先从文件的文件头中获取到 密钥标识：密钥ID1，然后根据：密钥ID1查询密钥数据库，得到该密钥标 识对应的密钥串1，并利用密
钥串1对读取的数据进行解密。

[0061] 本实施例中对数据所进行的加解密过程，用户是无感知的，即，对数据 所进行的加/解密处理对用户而言是不可见的，对数据进行加密或者解密时无 需用户手动进行任何
操作，是数据加解密模块自动对写入的数据进行加密； 以及对读取的数据自动解密，由此
可以提高数据的安全性。

[0062] 审计模块230，适于实时收集数据操作日志，并将数据操作日志与告警规 则进行匹配，若数据操作日志与告警规则匹配，则对数据操作日志对应的数 据操作进行实时报
警。

[0063] 数据操作日志用于记录对数据资源所进行的操作，也就是说，对数据资 源所进行的任何操作都将被记录到数据操作日志中，当然，也可能包含一些 高危操作，若不对高危
操作做任何处理，则可能对大数据平台的访问安全性 造成影响，因此，审计模块可以实时
地收集数据操作日志，将数据操作日志 发送至消息队列，并将消息队列中数据操作日志与
告警规则进行匹配，若数 据操作日志与告警规则匹配，则可以认定数据操作为高危操作，
对数据操作 日志对应的数据操作进行实时报警，以供客户端根据报警信息进行后续的处 
理，例如拦截等，通过实时过滤数据操作，实时告警，提高了访问大数据平 台的安全性。

[0064] 此外，审计模块包括：模型训练单元231，适于对历史报警的数据操作对 应的数据操作日志进行训练，得到相应的告警规则，通过模型训练单元可以 逐步优化告警规则，从
而提升了利用告警规则对数据操作日志进行检测时检 测结果的准确性。

[0065] 系统还包括：日志存储系统250，适于存储实时收集的数据操作日志，以 供客户端查询并追踪数据操作。

[0066] 审计模块实时收集的数据操作日志被存储至日志存储系统中，该日志存 储系统提供有查询功能，用户通过输入关键字等可以查询与该关键字相匹配 的数据操作日志，实
现对数据操作的追踪。

[0067] 网关模块240，适于利用预设规则对流入/流出网关的数据进行规则检测， 对符合预设规则的数据访问进行报警或阻断。

[0068] 写入数据时，数据需要经过网关才能写入到大数据平台的数据库，即流 入网关的数据，例如流式数据；类似的，读取数据时，从大数据平台的数据 库读取的数据需经过网关
才可被用户获取到，即流出网关的数据，例如流式 数据或文件拷贝，然而，不论是流入网关
的数据还是流出网关的数据都可能 包含危险数据，因此，需要利用预设规则对流入/流出
网关的数据进行规则检 测，对符合预设规则的数据访问进行报警或阻断，其中，预设规则
可以正则 表达式的形式表示。

[0069] 根据本发明上述实施例提供的系统，管理用户角色对数据资源的权限信 息，为用户角色分配对应的访问权限，能够禁止非法用户对大数据平台的数 据访问，提升了数据的
安全性；将具有访问权限的客户端对应的IP地址存储 至IP地址白名单，使得只有IP地址在
IP地址白名单内的客户端才能访问数 据，进一步提升了数据的安全性，对写入的数据进行
加密，加密后，数据以 密文的方式存储，防止了数据直接暴露，同时增强对加密数据的访问
控制， 大大降低了数据被泄漏和恶意破坏的风险；以及对读取的数据进行解密，实 时收集
数据操作日志，并将数据操作日志与告警规则进行匹配，若数据操作 日志与告警规则匹
配，则对数据操作日志对应的数据操作进行实时报警，将 数据操作日志存储至日志存储系
统，使得客户端通过查询日志存储系统就可 以追踪到对应的数据操作，便于后续对数据操
作的分析，以及通过对流入/流 出网关的数据进行规则检测，可以提高访问大数据平台的
安全性。

[0070] 图3示出了根据本发明一个实施例的大数据平台安全访问方法的流程示 意图。如图3所示，该方法包括以下步骤：

[0071] 步骤S300，管理用户角色对数据资源的权限信息。

[0072] 步骤S301，对写入的数据进行加密；以及对读取的数据进行解密。

[0073] 步骤S302，实时收集数据操作日志，并将数据操作日志与告警规则进行 匹配，若数据操作日志与告警规则匹配，则对数据操作日志对应的数据操作 进行实时报警。

[0074] 步骤S303，利用预设规则对流入/流出网关的数据进行规则检测，对符合 预设规则的数据访问进行报警或阻断。

[0075] 根据本发明上述实施例提供的方法，管理用户角色对数据资源的权限信 息，为用户角色分配对应的访问权限，能够禁止非法用户对大数据平台的数 据访问，提升了数据的
安全性；对写入的数据进行加密，加密后，数据以密 文的方式存储，防止了数据直接暴露，
同时增强对加密数据的访问控制，大 大降低了数据被泄漏和恶意破坏的风险；以及对读取
的数据进行解密，实时 收集数据操作日志，并将数据操作日志与告警规则进行匹配，若数
据操作日 志与告警规则匹配，则对数据操作日志对应的数据操作进行实时报警，以及 通
过对流入/流出网关的数据进行规则检测，可以提高访问大数据平台的安全 性。

[0076] 图4示出了根据本发明另一个实施例的大数据平台安全访问方法的流程 示意图。如图4所示，该方法包括以下步骤：

[0077] 步骤S400，管理用户信息以及用户信息对应的用户角色。

[0078] 步骤S401，对不同数据存储格式的数据存储方法的数据资源进行格式统 一化处理，并将处理后的数据资源存储至平台数据库。

[0079] 其中，不同数据存储格式的数据存储系统包括：Hbase数据存储系统、 HD FS数据存储系统、Hive数据存储系统、和/或Yarn数据存储系统。

[0080] 步骤S402，管理用户角色对数据资源的权限信息。

[0081] 其中，权限信息包括：读数据权限、写数据权限、删除权限和/或创建权 限。

[0082] 步骤S403，将具有访问权限的客户端对应的IP地址存储至IP地址白名 单。

[0083] 步骤S404，将具有数据键值对形式的密钥存储至密钥数据库，其中，密 钥标识作为数据键，密钥串作为数据值。

[0084] 步骤S405，写入数据时，从密钥数据库中随机获取一未被使用的密钥标 识，将密钥标识写入文件头以实现对写入的数据进行加密。

[0085] 步骤S406，读取数据时，获取文件头中的密钥标识，根据密钥标识查询 密钥数据库，得到密钥标识对应的密钥串，利用密钥串对读取的数据进行解 密。

[0086] 步骤S407，实时收集数据操作日志，并将数据操作日志与告警规则进行 匹配，若数据操作日志与告警规则匹配，则对数据操作日志对应的数据操作 进行实时报警。

[0087] 步骤S408，将实时收集的数据操作日志存储至日志存储系统，以供客户 端查询并追踪数据操作。

[0088] 步骤S409，利用预设规则对流入/流出网关的数据进行规则检测，对符合 预设规则的数据访问进行报警或阻断。

[0089] 其中，告警规则是通过对历史报警的数据操作对应的数据操作日志进行 训练得到的。

[0090] 根据本发明上述实施例提供的方法，管理用户角色对数据资源的权限信 息，为用户角色分配对应的访问权限，能够禁止非法用户对大数据平台的数 据访问，提升了数据的
安全性；将具有访问权限的客户端对应的IP地址存储 至IP地址白名单，使得只有IP地址在
IP地址白名单内的客户端才能访问数 据，进一步提升了数据的安全性，对写入的数据进行
加密，加密后，数据以 密文的方式存储，防止了数据直接暴露，同时增强对加密数据的访问
控制， 大大降低了数据被泄漏和恶意破坏的风险；以及对读取的数据进行解密，实 时收集
数据操作日志，并将数据操作日志与告警规则进行匹配，若数据操作 日志与告警规则匹
配，则对数据操作日志对应的数据操作进行实时报警，将 数据操作日志存储至日志存储系
统，使得客户端通过查询日志存储系统就可 以追踪到对应的数据操作，便于后续对数据操
作的分析，以及通过对流入/流 出网关的数据进行规则检测，可以提高访问大数据平台的
安全性。

[0091] 本申请实施例提供了一种非易失性计算机存储介质，所述计算机存储介 质存储有至少一可执行指令，该计算机可执行指令可执行上述任意方法实施 例中的大数据平台
安全访问方法。

[0092] 图5示出了根据本发明一个实施例的电子设备的结构示意图，本发明具 体实施例并不对电子设备的具体实现做限定。

[0093] 如图5所示，该电子设备可以包括：处理器(processor)502、通信接口 (Communications Interface)504、存储器(memory)506、以及通信总线508。

[0094] 其中：

[0095] 处理器502、通信接口504、以及存储器506通过通信总线508完成相互 间的通信。

[0096] 通信接口504，用于与其它设备比如客户端或其它服务器等的网元通信。

[0097] 处理器502，用于执行程序510，具体可以执行上述大数据平台安全访问 方法实施例中的相关步骤。

[0098] 具体地，程序510可以包括程序代码，该程序代码包括计算机操作指令。

[0099] 处理器502可能是中央处理器CPU，或者是特定集成电路ASIC  (Application Specific Integrated Circuit)，或者是被配置成实施本发明实施例 的一个或多个集成
电路。电子设备包括的一个或多个处理器，可以是同一类 型的处理器，如一个或多个CPU；
也可以是不同类型的处理器，如一个或多 个CPU以及一个或多个ASIC。

[0100] 存储器506，用于存放程序510。存储器506可能包含高速RAM存储器， 也可能还包括非易失性存储器(non‑volatile memory)，例如至少一个磁盘存 储器。

[0101] 程序510具体可以用于使得处理器502执行实施例三至实施例四中的方 法。

[0102] 在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固 有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描 述，构造这类系统所要求
的结构是显而易见的。此外，本发明也不针对任何 特定编程语言。应当明白，可以利用各种
编程语言实现在此描述的本发明的 内容，并且上面对特定语言所做的描述是为了披露本
发明的最佳实施方式。

[0103] 在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本 发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未 详细示出公知的方法、结
构和技术，以便不模糊对本说明书的理解。

[0104] 类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个 或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时 被一起分组到单个实
施例、图、或者对其的描述中。然而，并不应将该公开 的方法解释成反映如下意图：即所要
求保护的本发明要求比在每个权利要求 中所明确记载的特征更多的特征。更确切地说，如
下面的权利要求书所反映 的那样，发明方面在于少于前面公开的单个实施例的所有特征。
因此，遵循 具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利 
要求本身都作为本发明的单独实施例。

[0105] 本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自 适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以 把实施例中的模块
或单元或组件组合成一个模块或单元或组件，以及此外可 以把它们分成多个子模块或子
单元或子组件。除了这样的特征和/或过程或者 单元中的至少一些是相互排斥之外，可以
采用任何组合对本说明书(包括伴 随的权利要求、摘要和附图)中公开的所有特征以及如
此公开的任何方法或 者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书
(包括伴 随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相 似目
的的替代特征来代替。

[0106] 此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其 它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组 合意味着处于本发明
的范围之内并且形成不同的实施例。例如，在下面的权 利要求书中，所要求保护的实施例
的任意之一都可以以任意的组合方式来使 用。

[0107] 本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理 器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当 理解，可以在实践中
使用微处理器或者数字信号处理器(DSP)来实现根据 本发明实施例的大数据平台安全访
问设备中的一些或者全部部件的一些或者 全部功能。本发明还可以实现为用于执行这里
所描述的方法的一部分或者全 部的设备或者装置程序(例如，计算机程序和计算机程序产
品)。这样的实 现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多
个 信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上 提供，或者
以任何其他形式提供。

[0108] 应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制， 并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实 施例。在权利要求
中，不应将位于括号之间的任何参考符号构造成对权利要 求的限制。单词“包含”不排除存
在未列在权利要求中的元件或步骤。位于 元件之前的单词“一”或“一个”不排除存在多个
这样的元件。本发明可以 借助于包括有若干不同元件的硬件以及借助于适当编程的计算
机来实现。在 列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个 
硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。 可将这些单词解
释为名称。

[0109] 本发明公开了：

[0110] A1.一种大数据平台安全访问系统，包括：

[0111] 权限认证模块，适于管理用户角色对数据资源的权限信息；

[0112] 数据加解密模块，适于对写入的数据进行加密；以及对读取的数据进行 解密；

[0113] 审计模块，适于实时收集数据操作日志，并将所述数据操作日志与告警 规则进行匹配，若数据操作日志与告警规则匹配，则对所述数据操作日志对 应的数据操作进行实时
报警；

[0114] 网关模块，适于利用预设规则对流入/流出网关的数据进行规则检测，对 符合预设规则的数据访问进行报警或阻断。

[0115] A2.根据A1所述的系统，其中，所述权限认证模块包括：

[0116] 用户角色管理单元，适于管理用户信息以及用户信息对应的用户角色；

[0117] 资源管理单元，适于对不同数据存储格式的数据存储系统的数据资源进 行格式统一化处理，并将处理后的数据资源存储至平台数据库；

[0118] 权限管理单元，适于管理用户角色对数据资源的权限信息。

[0119] A3.根据A1或A2所述的系统，其中，所述权限认证模块还包括：IP地 址白名单，适于存储具有访问权限的客户端的IP地址。

[0120] A4.根据A2所述的系统，其中，不同数据存储格式的数据存储系统包括： Hbase数据存储系统、HDFS数据存储系统、Hive数据存储系统、和/或Yarn 数据存储系统。

[0121] A5.根据A1‑A4任一项所述的系统，其中，权限信息包括：读数据权限、 写数据权限、删除权限和/或创建权限。

[0122] A6.根据A1‑A5任一项所述的系统，所述系统还包括：密钥数据库，适 于存储具有数据键值对形式的密钥，其中，密钥标识作为数据键，密钥串作 为数据值。

[0123] A7.根据A6所述的系统，其中，所述数据加解密模块进一步适于：

[0124] 写入数据时，从所述密钥数据库中随机获取一未被使用的密钥标识，将 所述密钥标识写入文件头以实现对写入的数据进行加密；

[0125] 读取数据时，获取文件头中的密钥标识，根据所述密钥标识查询密钥数 据库，得到所述密钥标识对应的密钥串，利用所述密钥串对读取的数据进行 解密。

[0126] A8.根据A1‑A7任一项所述的系统，其中，所述系统还包括：日志存储 系统，适于存储实时收集的数据操作日志，以供客户端查询并追踪数据操作。

[0127] A9.根据A1‑A8任一项所述的系统，其中，所述审计模块包括：模型训 练单元，适于对历史报警的数据操作对应的数据操作日志进行训练，得到相 应的告警规则。

[0128] B10.一种大数据平台安全访问方法，包括：

[0129] 管理用户角色对数据资源的权限信息；

[0130] 对写入的数据进行加密；以及对读取的数据进行解密；

[0131] 实时收集数据操作日志，并将所述数据操作日志与告警规则进行匹配， 若数据操作日志与告警规则匹配，则对所述数据操作日志对应的数据操作进 行实时报警；

[0132] 利用预设规则对流入/流出网关的数据进行规则检测，对符合预设规则的 数据访问进行报警或阻断。

[0133] B11.根据B10所述的方法，其中，所述管理用户角色对数据资源的权限 信息进一步包括：

[0134] 管理用户信息以及用户信息对应的用户角色；

[0135] 对不同数据存储格式的数据存储方法的数据资源进行格式统一化处理， 并将处理后的数据资源存储至平台数据库；

[0136] 管理用户角色对数据资源的权限信息。

[0137] B12.根据B10或B11所述的方法，其中，所述方法还包括：将具有访问 权限的客户端对应的IP地址存储至IP地址白名单。

[0138] B13.根据B11所述的方法，其中，不同数据存储格式的数据存储系统包 括：Hbase数据存储系统、HDFS数据存储系统、Hive数据存储系统、和/或 Yarn数据存储系统。

[0139] B14.根据B10‑B13任一项所述的方法，其中，权限信息包括：读数据权 限、写数据权限、删除权限和/或创建权限。

[0140] B15.根据B10‑B14任一项所述的方法，所述方法还包括：将具有数据键 值对形式的密钥存储至密钥数据库，其中，密钥标识作为数据键，密钥串作 为数据值。

[0141] B16.根据B15所述的方法，其中，所述对写入的数据进行加密进一步包 括：写入数据时，从所述密钥数据库中随机获取一未被使用的密钥标识，将 所述密钥标识写入文件头
以实现对写入的数据进行加密；

[0142] 所述对读取的数据进行解密进一步包括：读取数据时，获取文件头中的 密钥标识，根据所述密钥标识查询密钥数据库，得到所述密钥标识对应的密 钥串，利用所述密钥
串对读取的数据进行解密。

[0143] B17.根据B10‑B16任一项所述的方法，其中，所述方法还包括：将实时 收集的数据操作日志存储至日志存储系统，以供客户端查询并追踪数据操作。

[0144] B18.根据B10‑B17任一项所述的方法，其中，所述告警规则是通过对历 史报警的数据操作对应的数据操作日志进行训练得到的。

[0145] C19.一种电子设备，包括：处理器、存储器、通信接口和通信总线，所 述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；

[0146] 所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器 执行如B10‑B18中任一项所述的大数据平台安全访问方法对应的操作。

[0147] D20.一种计算机存储介质，所述存储介质中存储有至少一可执行指令， 所述可执行指令使处理器执行如B10‑B18中任一项所述的大数据平台安全访 问方法对应的操作。