本发明涉及数据处理技术领域，提出了一种大数据集成分析平台，包括：控制终端，是系统的主控端，用于发出执行命令；构建模块，用于构建数据传输通道；接收模块，用于接收构建模块下级设置的子模块储存单元中储存的数据内容，并在接收后将数据内容向处理模块发送；处理模块，用于识别数据内容的属性；本发通过构建数据传输通道为系统端用户在传输数据时配置数据传输通道的方式，确保了数据的传输环境更加安全，并且进一步的为系统在进行数据内容接收处理时设计了数据内容的接收逻辑，使得数据内容在由该系统处理时，处理过程更加稳定，不易发生错误。
控制终端（1），是系统的主控端，用于发出执行命令；
接收模块（3），用于接收构建模块（2）下级设置的子模块储存单元（22）中储存的数据内容，并在接收后将数据内容向处理模块（4）发送；
数据库（5），用于获取处理模块（4）运行识别的数据内容属性，参考数据内容属性对接收模块（3）向处理模块（4）发送的数据内容进行区分储存；
调用模块（6），用于系统端用户读取或下载数据库（5）中储存的数据内容；
储存单元（22），用于储存系统端用户通过构建模块（2）构建的数据传输通道传输的数据内容；
其中，系统端用户在进行身份信息认证时，将身份信息在控制终端（1）上传，认证单元（21）于控制终端（1）上读取系统端用户上传的身份信息对系统端用户进行确认，并在确认后提供构建模块（2）构建的数据传输通道，系统端用户通过数据传输通道向储存单元（22）传输数据内容；
储存单元（22）在对数据内容进行储存后，同步获取储存数据的来源数据传输通道，根据储存数据的来源数据传输通道生成数据储存拓扑图像，系统端用户通过数据储存拓扑图像对储存单元（22）中储存的数据进行其对应的来源数据传输通道的查找；
逻辑单元（31），用于设计接收模块（3）在接收储存单元（22）中储存的数据内容时的运行逻辑；
其中，逻辑单元（31）设计的运行逻辑通过系统端用户手动编辑进行设定，且运行逻辑的设计内容包括：单次接收数据内容的大小、接收数据内容的周期、接收模块（3）触发条件；
溯源单元（43），用于获取数据内容传输目标对应的位置信息及在数据内容进行传输时所应用的数据传输通道；
其中，分析单元（41）分析的数据内容格式与溯源单元（43）运行获取到的数据内容传输目标对应的位置信息及在数据内容进行传输时所应用的数据传输通道均为数据内容的属性；
其中，识别单元（42）在识别到数据内容存在的文件夹后，对文件夹对应数据内容向溯源单元（43）发送，所述识别单元（42）于系统运行过程中持续运行，直至接收模块（3）单次接收并向处理模块（4）发送的数据内容均得到数据内容存在的文件夹的识别后停止运行，溯源单元（43）跟随识别单元同步运行。
2.根据权利要求1所述的一种大数据集成分析平台，其特征在于，所述储存单元（22）于系统中运行时，在系统运行应用的网络中构建云端数据库，云端数据库于系统运行过程中实时接收储存单元（22）储存的数据内容并在此对数据内容进行储存；
其中，云端数据库中储存的数据内容，由系统端用户通过认证单元（21）认证身份信息后于控制终端（1）上对云端数据库进行访问及数据读取。
3.根据权利要求1所述的一种大数据集成分析平台，其特征在于，所述处理模块（4）运行时同步跳转其下级设置的子步骤运行，通过系统端用户手动设定对分析单元（41）或识别单元（42）、溯源单元（43）择一参与系统运行或三者都参与系统运行。
4.根据权利要求1所述的一种大数据集成分析平台，其特征在于，所述数据库（5）于系统中呈离线设置，数据库（5）在每次处理模块（4）运行结束后连接网络，并在网络连接后接收处理模块（4）中由接收模块（3）发送的数据内容，在数据内容完成接收后，断开网络连接；
其中，数据库（5）在对数据内容储存后，同步对储存单元（22）中储存的对应的数据内容进行删除，并在数据库（5）再次运行再接储存数据内容时，进一步对云端数据库中储存的对应上一次数据库（5）在储存数据内容时的数据内容进行删除。
5.根据权利要求1所述的一种大数据集成分析平台，其特征在于，所述调用模块（6）运行时，同步跳转认证单元（21），通过认证单元（21）认证系统端用户身份信息，在身份信息认证通过后访问系统，通过控制终端（1）获取数据库（5）联网操作权限，在数据库（5）连接网络后对数据库（5）中储存的数据内容进行读取或下载。
6.根据权利要求1所述的一种大数据集成分析平台，其特征在于，所述调用模块（6）在运行时，同步对调用模块（6）的运行数据进行记载，根据记载的调用模块（6）的运行数据分析数据库（5）储存的数据内容读取、下载活跃度，并进一步设定活跃度评价阈值及评价周期，根据评价周期应用活跃度评价阈值对不符合活跃度评价阈值的数据内容进行删除。
7.根据权利要求1所述的一种大数据集成分析平台，其特征在于，所述控制终端（1）通过介质电性连接有构建模块（2），所述构建模块（2）下级通过介质电性连接有认证单元（21）及储存单元（22），所述构建模块（2）通过介质电性连接有接收模块（3），所述接收模块（3）内部通过介质电性连接有逻辑单元（31），所述接收模块（3）通过介质电性连接有处理模块（4），所述处理模块（4）下级通过介质电性连接有分析单元（41）、识别单元（42）及溯源单元（43），所述处理模块（4）通过介质电性连接有数据库（5）及调用模块（6），所述调用模块（6）通过介质电性与认证单元（21）相连接。
一种大数据集成分析平台
技术领域
[0001] 本发明涉及数据处理技术领域，具体的，涉及一种大数据集成分析平台。
背景技术
[0002] 数据集成是把不同来源、格式、特点性质的数据在逻辑上或物理上有机地集中，从而为企业提供全面的数据共享。在企业数据集成领域，已经有了很多成熟的框架可以利用。通常采用联邦式、基于中间件模型和数据仓库等方法来构造集成的系统，这些技术在不同的着重点和应用上解决数据共享和为企业提供决策支持。
[0003] 在企业中，由于开发时间或开发部门的不同，往往有多个异构的、运行在不同的软硬件平台上的信息系统同时运行，这些系统的数据源彼此独立、相互封闭，使得数据难以在系统之间交流、共享和融合，从而形成了"信息孤岛"。随着信息化应用的不断深入，企业内部、企业与外部信息交互的需求日益强烈，急切需要对已有的信息进行整合，联通“信息孤岛”，共享信息。
[0004] 并且，对于目前的数据储存技术，往往通过在数据储存时建立数据根录的方式来对存储的数据进行管理，随储存数据的增加，用户在储存的数据中搜寻所需数据的过程较为缓慢，在数据储存前对数据通常不被处理直接储存，这导致数据储存的过程存在风险，且储存的数据中存在的较多僵尸数据占用储存空间。
发明内容
[0005] 本发明提出一种大数据集成分析平台，解决了相关技术中的一种大数据集成分析平台问题。
[0006] 本发明的技术方案如下：
[0007] 一种大数据集成分析平台，包括：
[0008] 控制终端，是系统的主控端，用于发出执行命令；
[0009] 构建模块，用于构建数据传输通道；
[0010] 接收模块，用于接收构建模块下级设置的子模块储存单元中储存的数据内容，并在接收后将数据内容向处理模块发送；
[0011] 处理模块，用于识别数据内容的属性；
[0012] 数据库，用于获取处理模块运行识别的数据内容属性，参考数据内容属性对接收模块向处理模块发送的数据内容进行区分储存；
[0013] 调用模块，用于系统端用户读取或下载数据库中储存的数据内容；
[0014] 储存单元在对数据内容进行储存后，同步获取储存数据的来源数据传输通道，根据储存数据的来源数据传输通道生成数据储存拓扑图像，系统端用户通过数据储存拓扑图像对储存单元中储存的数据进行其对应的来源数据传输通道的查找。
[0015] 更进一步的，所述构建模块下级设置有子模块，包括：
[0016] 认证单元，用于认证系统端用户身份信息；
[0017] 储存单元，用于储存系统端用户通过构建模块构建的数据传输通道传输的数据内容；
[0018] 其中，系统端用户在进行身份信息认证时，将身份信息在控制终端上传，认证单元于控制终端上读取系统端用户上传的身份信息对系统端用户进行确认，并在确认后提供构建模块构建的数据传输通道，系统端用户通过数据传输通道向储存单元传输数据内容。
[0019] 更进一步的，所述存储单元于系统中运行时，在系统运行应用的网络中构建云端数据库，云端数据库于系统运行过程中实时接收储存单元储存的数据内容并在此对数据内容进行储存；
[0020] 其中，云端数据库中储存的数据内容，由系统端用户通过认证单元认证身份信息后于控制终端上对云端数据库进行访问及数据读取。
[0021] 更进一步的，所述接收模块内部设置有子模块，包括：
[0022] 逻辑单元，用于设计接收模块在接收储存单元中储存的数据内容时的运行逻辑；
[0023] 其中，逻辑单元设计的运行逻辑通过系统端用户手动编辑进行设定，且运行逻辑的设计内容包括：单次接收数据内容的大小、接收数据内容的周期、接收模块触发条件。
[0024] 更进一步的，所述处理模块下级设置有子模块，包括：
[0025] 分析单元，用于分析数据内容的格式；
[0026] 识别单元，用于识别数据内容存在的文件夹；
[0027] 溯源单元，用于获取数据内容传输目标对应的位置信息及在数据内容进行传输时所应用的数据传输通道；
[0028] 其中，识别单元在识别到数据内容存在的文件夹后，对文件夹对应数据内容向溯源单元发送，所述识别单元于系统运行过程中持续运行，直至接收模块单次接收并向处理模块发送的数据内容均得到数据内容存在的文件夹的识别后停止运行，溯源单元跟随识别单元同步运行。
[0029] 更进一步的，所述处理模块运行时同步跳转其下级设置的子步骤运行，通过系统端用户手动设定对分析单元或识别单元、溯源单元择一参与系统运行或三者都参与系统运行；
[0030] 其中，分析单元分析的数据内容格式与溯源单元运行获取到的数据内容传输目标对应的位置信息及在数据内容进行传输时所应用的数据传输通道均为数据内容的属性。
[0031] 更进一步的，所述数据库于系统中呈离线设置，数据库在每次处理模块运行结束后连接网络，并在网络连接后接收处理模块中由接收模块发送的数据内容，在数据内容完成接收后，断开网络连接；
[0032] 其中，数据库在对数据内容储存后，同步对储存单元中储存的对应的数据内容进行删除，并在数据库再次运行再接储存数据内容时，进一步对云端数据库中储存的对应上一次数据库在储存数据内容时的数据内容进行删除。
[0033] 更进一步的，所述调用模块运行时，同步跳转认证单元，通过认证单元认证系统端用户身份信息，在身份信息认证通过后访问系统，通过控制终端获取数据库联网操作权限，在数据库连接网络后对数据库中储存的数据内容进行读取或下载。
[0034] 更进一步的，所述调用模块在运行时，同步对调用模块的运行数据进行记载，根据记载的调用模块的运行数据分析数据库储存的数据内容读取、下载活跃度，并进一步设定活跃度评价阈值及评价周期，根据评价周期应用活跃度评价阈值对不符合活跃度评价阈值的数据内容进行删除。
[0035] 更进一步的，所述控制终端通过介质电性连接有构建模块，所述构建模块下级通过介质电性连接有认证单元及储存单元，所述构建模块通过介质电性连接有接收模块，所述接收模块内部通过介质电性连接有逻辑单元，所述接收模块通过介质电性连接有处理模块，所述处理模块下级通过介质电性连接有分析单元、识别单元及溯源单元，所述处理模块通过介质电性连接有数据库及调用模块，所述调用模块通过介质电性与认证单元相连接。
[0036] 本发明的有益效果为：
[0037] 1、本发明提供一种大数据集成分析平台，其通过构建数据传输通道为系统端用户在传输数据时配置数据传输通道的方式，确保了数据的传输环境更加安全，并且进一步的为系统在进行数据内容接收处理时设计了数据内容的接收逻辑，使得数据内容在由该系统处理时，处理过程更加稳定，不易发生错误。
[0038] 2、本发明中系统在运行的过程中，通过储存单元、云端数据库及离线数据库的分别设置，使得系统在接收数据内容后，在对数据进行处理前能分别储存于不同的储存位置，从而确保系统处理数据的过程更加安全。
[0039] 3、本发明中系统在运行过程中，还能对数据内容进行不同逻辑的属性分析，从而将分析得到的数据内容属性提供至系统及系统用户端使用，以便于数据内容在进行区别储存时具备更多的储存逻辑，并且该系统还能对系统处理后储存管理的数据内容进行活跃度分析，并根据活跃度分析结果对数据内容进行删除处理，以便于系统运行储存管理的数据内容更加贴合系统端用户使用需求，不易长时间的储存无用数据内容。
附图说明
[0040] 下面结合附图和具体实施方式对本发明作进一步详细的说明。
[0041] 图1为一种大数据集成分析平台的结构示意图；
[0042] 图中：1、控制终端；2、构建模块；21、认证单元；22、储存单元；3、接收模块；31、逻辑单元；4、处理模块；41、分析单元；42、识别单元；43、溯源单元；5、数据库；6、调用模块。
具体实施方式
[0043] 下面将结合本发明实施例，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都涉及本发明保护的范围。
[0044] 实施例1
[0045] 如图1所示，本实施例提出了一种大数据集成分析平台，包括：
[0046] 控制终端1，是系统的主控端，用于发出执行命令；
[0047] 构建模块2，用于构建数据传输通道；
[0048] 接收模块3，用于接收构建模块2下级设置的子模块储存单元22中储存的数据内容，并在接收后将数据内容向处理模块4发送；
[0049] 处理模块4，用于识别数据内容的属性；
[0050] 数据库5，用于获取处理模块4运行识别的数据内容属性，参考数据内容属性对接收模块3向处理模块4发送的数据内容进行区分储存；
[0051] 调用模块6，用于系统端用户读取或下载数据库5中储存的数据内容；
[0052] 储存单元22在对数据内容进行储存后，同步获取储存数据的来源数据传输通道，根据储存数据的来源数据传输通道生成数据储存拓扑图像，系统端用户通过数据储存拓扑图像对储存单元22中储存的数据进行其对应的来源数据传输通道的查找。
[0053] 在本实施例中，控制终端1控制构建模块2运行构建数据传输通道，同步的接收模块3运行接收构建模块2下级设置的子模块储存单元22中储存的数据内容，并在接收后将数据内容向处理模块4发送，再由处理模块4识别数据内容的属性，数据库5获取处理模块4运行识别的数据内容属性，参考数据内容属性对接收模块3向处理模块4发送的数据内容进行区分储存，最后调用模块6运行系统端用户通过其读取或下载数据库5中储存的数据内容。
[0054] 实施例2
[0055] 在具体实施层面，在实施例1的基础上，本实施例参照图1所示对实施例1中一种大数据集成分析平台做进一步具体说明：
[0056] 构建模块2下级设置有子模块，包括：
[0057] 认证单元21，用于认证系统端用户身份信息；
[0058] 储存单元22，用于储存系统端用户通过构建模块2构建的数据传输通道传输的数据内容；
[0059] 其中，系统端用户在进行身份信息认证时，将身份信息在控制终端1上传，认证单元21于控制终端1上读取系统端用户上传的身份信息对系统端用户进行确认，并在确认后提供构建模块2构建的数据传输通道，系统端用户通过数据传输通道向储存单元22传输数据内容。
[0060] 通过上述构建模块2的下级子模块的设置，能够为系统的运行提供系统端用户的身份信息认证功能，并且对于系统端用户通过数据传输通道传输的数据内容能够得到首次储存，为系统中下级通过运行提供基础的运行条件支持；
[0061] 上述记载的数据传输通道通过网络部署，使系统端用户的电子设备与系统中的储存单元22进行介质电性连接或网络连接，系统端用户通过部署的网络，将电子设备中所需传输的数据在介质电性连接或网络连接的状态下向储存单元22传输。
[0062] 本实施例中，存储单元22于系统中运行时，在系统运行应用的网络中构建云端数据库，云端数据库于系统运行过程中实时接收储存单元22储存的数据内容并在此对数据内容进行储存；
[0063] 其中，云端数据库中储存的数据内容，由系统端用户通过认证单元21认证身份信息后于控制终端1上对云端数据库进行访问及数据读取。
[0064] 本实施例中，接收模块3内部设置有子模块，包括：
[0065] 逻辑单元31，用于设计接收模块3在接收储存单元22中储存的数据内容时的运行逻辑；
[0066] 其中，逻辑单元31设计的运行逻辑通过系统端用户手动编辑进行设定，且运行逻辑的设计内容包括：单次接收数据内容的大小、接收数据内容的周期、接收模块3触发条件。
[0067] 通过逻辑单元31的设置，可以使得接收模块3通过设定，能够在接收数据时，对单次接收数据内容的大小、接收数据内容的周期、接收模块3触发条件进行设定，确保接收模块3根据系统端用户的需求进行数据接收。
[0068] 本实施例中，处理模块4下级设置有子模块，包括：
[0069] 分析单元41，用于分析数据内容的格式；
[0070] 识别单元42，用于识别数据内容存在的文件夹；
[0071] 溯源单元43，用于获取数据内容传输目标对应的位置信息及在数据内容进行传输时所应用的数据传输通道；
[0072] 其中，识别单元42在识别到数据内容存在的文件夹后，对文件夹对应数据内容向溯源单元43发送，识别单元42于系统运行过程中持续运行，直至接收模块3单次接收并向处理模块4发送的数据内容均得到数据内容存在的文件夹的识别后停止运行，溯源单元43跟随识别单元同步运行。
[0073] 通过上述处理模块4的下级子模块的设置，能够为系统中传输的数据内容进行不同逻辑的属性分析，以提供至数据库5，供数据库5对数据内容进行有效的区分储存。
[0074] 本实施例中，处理模块4运行时同步跳转其下级设置的子步骤运行，通过系统端用户手动设定对分析单元41或识别单元42、溯源单元43择一参与系统运行或三者都参与系统运行；
[0075] 其中，分析单元41分析的数据内容格式与溯源单元43运行获取到的数据内容传输目标对应的位置信息及在数据内容进行传输时所应用的数据传输通道均为数据内容的属性。
[0076] 实施例3
[0077] 在具体实施层面，在实施例1的基础上，本实施例参照图1所示对实施例1中一种大数据集成分析平台做进一步具体说明：
[0078] 数据库5于系统中呈离线设置，数据库5在每次处理模块4运行结束后连接网络，并在网络连接后接收处理模块4中由接收模块3发送的数据内容，在数据内容完成接收后，断开网络连接；
[0079] 其中，数据库5在对数据内容储存后，同步对储存单元22中储存的对应的数据内容进行删除，并在数据库5再次运行再接储存数据内容时，进一步对云端数据库中储存的对应上一次数据库5在储存数据内容时的数据内容进行删除。
[0080] 本实施例中，调用模块6运行时，同步跳转认证单元21，通过认证单元21认证系统端用户身份信息，在身份信息认证通过后访问系统，通过控制终端1获取数据库5联网操作权限，在数据库5连接网络后对数据库5中储存的数据内容进行读取或下载。
[0081] 本实施例中，调用模块6在运行时，同步对调用模块6的运行数据进行记载，根据记载的调用模块6的运行数据分析数据库5储存的数据内容读取、下载活跃度，并进一步设定活跃度评价阈值及评价周期，根据评价周期应用活跃度评价阈值对不符合活跃度评价阈值的数据内容进行删除。
[0082] 本实施例中，控制终端1通过介质电性连接有构建模块2，构建模块2下级通过介质电性连接有认证单元21及储存单元22，构建模块2通过介质电性连接有接收模块3，接收模块3内部通过介质电性连接有逻辑单元31，接收模块3通过介质电性连接有处理模块4，处理模块4下级通过介质电性连接有分析单元41、识别单元42及溯源单元43，处理模块4通过介质电性连接有数据库5及调用模块6，调用模块6通过介质电性与认证单元21相连接。
[0083] 综上而言，上述实施例中系统通过构建数据传输通道为系统端用户在传输数据时配置数据传输通道的方式，确保了数据的传输环境更加安全，并且进一步的为系统在进行数据内容接收处理时设计了数据内容的接收逻辑，使得数据内容在由该系统处理时，处理过程更加稳定，不易发生错误；且系统在运行的过程中，通过储存单元、云端数据库及离线数据库的分别设置，使得系统在接收数据内容后，在对数据进行处理前能分别储存于不同的储存位置，从而确保系统处理数据的过程更加安全；并且系统在运行过程中，还能对数据内容进行不同逻辑的属性分析，从而将分析得到的数据内容属性提供至系统及系统用户端使用，以便于数据内容在进行区别储存时具备更多的储存逻辑，并且该系统还能对系统处理后储存管理的数据内容进行活跃度分析，并根据活跃度分析结果对数据内容进行删除处理，以便于系统运行储存管理的数据内容更加贴合系统端用户使用需求，不易长时间的储存无用数据内容。
[0084] 以上仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
