本发明涉及数据存储的技术领域，特别是涉及一种基于大数据库的信息数据存储整合系统，其减少重复的数据占用的存储器空间，并且减少重复数据上传占用的带宽资源，提高实用性；包括：服务器数据存储单元，用于存储文件的数据，并将数据依协议分为文件头和存储数据，其中文件头用来记录文件名、文件属性、占用簇号等信息，存储数据用来保存存储文件的真实数据，并且文件头保存在簇内部并映射在文件分配表中；存储数据抽查单元，用固定的抽取规则在服务器数据存储单元的存储数据中抽取多组抽查信息并发送；文件头扩充信息单元，用于读取服务器数据存储单元的文件分配表中的文件头并接收文件头所对应的多组抽查信息。
1.一种基于大数据库的信息数据存储整合系统，其特征在于，包括：服务器数据存储单元，用于存储文件的数据，并将数据依协议分为文件头和存储数据，其中文件头用来记录文件名、文件属性和占用簇号信息，存储数据用来保存存储文件的真实数据，并且文件头保存在簇内部并映射在文件分配表中；
存储数据抽查单元，用固定的抽取规则在服务器数据存储单元的存储数据中抽取多组抽查信息并发送；
文件头扩充信息单元，用于读取服务器数据存储单元的文件分配表中的文件头并接收文件头所对应的多组抽查信息，并且将文件头和多组抽查信息组合为文件头扩充信息并储存；
数据上传单元，用于上传个体数据，并且接收个体数据所对应的访问链接；
数据接收单元，用于接收数据上传单元的个体数据并转发；
上传数据文件头提取单元，用于接收数据接收单元的个体数据，并且提取个体数据中的文件头并发送；
文件头比对单元，用于接收上传数据文件头提取单元的个体数据中的文件头，并且通过读取服务器数据存储单元的文件分配表中的文件头与个体数据中的文件头进行比对，当文件分配表中的文件头与个体数据中的文件头不一致时，将文件头比对结果信号赋值为“0”；当文件分配表中的文件头与个体数据中的文件头检索信号一致时，将文件头比对结果信号赋值为“1”并发送；
上传数据存储数据抽查单元，用于接收数据接收单元的个体数据，通过与存储数据抽查单元相同的抽取规则在个体数据的存储数据中抽取多组抽查信息并发送；
存储数据比对单元，用于接收文件头比对单元的文件头比对结果信号，当文件头比对结果信号赋值为“1”时，读取对应文件头扩充信息单元的文件头扩充信息中的多组抽查信息组合，并且接收对应的上传数据存储数据抽查单元的多组抽查信息，并将多组文件头扩充信息单元抽查信息组合与上传数据存储数据抽查单元的抽查信息依次进行比对，当比对结果存在差异时，将比对结果信号赋值为“0”并发送；当比对结果一致时，将比对结果信号赋值为“1”并发送；
上传数据写入单元，用于接收存储数据比对单元的比对结果信号，当比对结果信号为“1”时，上传数据写入单元无操作；当比对结果信号为“0”时，将数据接收单元的个体数据写入服务器数据存储单元内并形成访问链接并发送；
上传数据拼接单元，当比对结果信号为“0”时，上传数据拼接单元无操作；当比对结果信号为“1”时，将文件头扩充信息单元所对应的服务器数据存储单元的文件的数据形成访问链接并发送；
链接发送单元，用于接收上传数据写入单元和上传数据拼接单元的访问链接并转发至数据上传单元。
2.如权利要求1所述的基于大数据库的信息数据存储整合系统，其特征在于，还包括：上传存储数据查重单元，用于接收上传数据存储数据抽查单元的个体数据的存储数据的多组抽查信息并存储，并且在内置设定时间段内对多组抽查信息进行计数，当计数结果大于设定值时发出报警信号；
报警单元，用于接收上传存储数据查重单元的报警信号并发出报警提示。
3.如权利要求2所述的基于大数据库的信息数据存储整合系统，其特征在于，还包括：地址溯源单元，用于接收上传存储数据查重单元的报警信号，并且根据对应的多组个体数据的上传地址标记其为黑名单进行存储并显示。
4.如权利要求3所述的基于大数据库的信息数据存储整合系统，其特征在于，还包括：审查单元，用于提取地址溯源单元中被标记为黑名单的上传地址，并限制上传地址访问数据上传单元。
5.如权利要求4所述的基于大数据库的信息数据存储整合系统，其特征在于，还包括：流量限制单元，通过预设的设定值限制访问数据上传单元的上行速度。
6.如权利要求1所述的基于大数据库的信息数据存储整合系统，其特征在于，还包括：备份单元，用于备份服务器数据存储单元内的全部数据；
备份管理单元，用于读取、写入和删除备份单元的存储数据。
7.如权利要求6所述的基于大数据库的信息数据存储整合系统，其特征在于，备份单元与服务器数据存储单元选用不同的物理存储器。
8.如权利要求1所述的基于大数据库的信息数据存储整合系统，其特征在于，文件头比对单元支持二次编写。
基于大数据库的信息数据存储整合系统
技术领域
[0001] 本发明涉及数据存储的技术领域，特别是涉及一种基于大数据库的信息数据存储整合系统。
背景技术
[0002] 随着互联网和信息技术的发展，服务器中的数据呈几何级数增长，使社会进入大数据时代。大数据的基础，即大数据库的信息数据的信息存储，庞大的数据存储占用较多的存储器，并且信息存储的过程中占用较多的带宽资源，导致实用性较差。寻求有效的大数据库的信息数据存储的方法己经成为现实世界的迫切需求，面对越来越庞大的数据量，如何做到有效的存储大数据库的信息数据成为亟待解决的技术问题。
发明内容
[0003] 本发明所要解决的技术问题是：提供一种基于大数据库的信息数据存储整合系统，以减少重复的数据占用的存储空间。
[0004] 本发明所采用的技术方案为：基于大数据库的信息数据存储整合系统，包括：
[0005] 服务器数据存储单元，用于存储文件的数据，并将数据依协议分为文件头和存储数据，其中文件头用来记录文件名、文件属性、占用簇号等信息，存储数据用来保存存储文件的真实数据，并且文件头保存在簇内部并映射在文件分配表中；
[0006] 存储数据抽查单元，用固定的抽取规则在服务器数据存储单元的存储数据中抽取多组抽查信息并发送；
[0007] 文件头扩充信息单元，用于读取服务器数据存储单元的文件分配表中的文件头并接收文件头所对应的多组抽查信息，并且将文件头和多组抽查信息组合为文件头扩充信息并储存；
[0008] 数据上传单元，用于上传个体数据，并且接收个体数据所对应的访问链接；
[0009] 数据接收单元，用于接收数据上传单元的个体数据并转发；
[0010] 上传数据文件头提取单元，用于接收数据接收单元的个体数据，并且提取个体数据中的文件头并发送；
[0011] 文件头比对单元，用于接收上传数据文件头提取单元的个体数据中的文件头，并且通过读取服务器数据存储单元的文件分配表中的文件头并与个体数据中的文件头进行比对，当文件分配表中的文件头并与个体数据中的文件头不一致时，将文件头比对结果信号赋值为“0”；当文件分配表中的文件头并与个体数据中的文件头检索信号一致时，将文件头比对结果信号赋值为“1”并发送；
[0012] 上传数据存储数据抽查单元，用于接收数据接收单元的个体数据，通过与存储数据抽查单元相同的抽取规则在个体数据的存储数据中抽取多组抽查信息并发送；
[0013] 存储数据比对单元，用于接收文件头比对单元的文件头比对结果信号，当文件头比对结果信号赋值为“1”时，读取对应文件头扩充信息单元的文件头扩充信息中的多组抽查信息组合，并且接收对应的上传数据存储数据抽查单元的多组抽查信息，并将多组文件头扩充信息单元抽查信息组合与上传数据存储数据抽查单元的抽查信息依次进行比对，当比对结果存在差异时，将比对结果信号赋值为“0”并发送；当比对结果一致时，将比对结果信号赋值为“1”并发送；
[0014] 上传数据写入单元，用于接收存储数据比对单元的比对结果信号，当比对结果信号为“1”时，上传数据写入单元无操作；当比对结果信号为“0”时，将数据接收单元的个体数据写入服务器数据存储单元内并形成访问链接并发送；
[0015] 上传数据拼接单元，当比对结果信号为“0”时，上传数据拼接单元无操作；当比对结果信号为“1”时，将文件头扩充信息单元所对应的服务器数据存储单元的文件的数据形成访问链接并发送；
[0016] 链接发送单元，用于接收上传数据写入单元和上传数据拼接单元的访问链接并转发至数据上传单元。
[0017] 本发明的基于大数据库的信息数据存储整合系统，还包括：
[0018] 上传存储数据查重单元，用于接收上传数据存储数据抽查单元的个体数据的存储数据的多组抽查信息并存储，并且在内置设定时间段内对多组抽查信息进行计数，当计数结果大于设定值时发出报警信号；
[0019] 报警单元，用于接收上传存储数据查重单元的报警信号并发出报警提示。
[0020] 本发明的基于大数据库的信息数据存储整合系统，还包括：
[0021] 地址溯源单元，用于接收传存储数据查重单元的报警信号，并且根据对应的多组个体数据的上传地址标记其为黑名单进行存储并显示。
[0022] 本发明的基于大数据库的信息数据存储整合系统，还包括：
[0023] 审查单元，用于提取地址溯源单元中被标记为黑名单的上传地址，并限制上传地址访问数据上传单元。
[0024] 本发明的基于大数据库的信息数据存储整合系统，还包括：
[0025] 流量限制单元，通过预设的设定值限制访问数据上传单元的上行速度。
[0026] 本发明的基于大数据库的信息数据存储整合系统，还包括：
[0027] 备份单元，用于备份服务器数据存储单元内的全部数据；
[0028] 备份管理单元，用于读取、写入和删除备份单元的存储数据。
[0029] 本发明的基于大数据库的信息数据存储整合系统，备份单元与服务器数据存储单元选用不同的物理存储器。
[0030] 本发明的基于大数据库的信息数据存储整合系统，文件头比对单元支持二次编写。
[0031] 本发明的有益效果为：
[0032] （1）减少重复的数据占用的存储器空间，并且减少重复数据上传占用的带宽资源，提高实用性；
[0033] （2）方便减少恶意上传多份数据的占用存储器空间和带宽资源的情况的发生，提高安全性；
[0034] （3）方便对服务器数据存储单元的数据备份进行管理，减少服务器数据存储单元的物理存储器损坏导致的数据丢失的情况的发生，提高可靠性。
附图说明
[0035] 图1是本发明的示意图；
[0036] 图2是上传存储数据查重单元等单元的功能示意图；
[0037] 图3是备份管理单元和备份单元的示意图。
具体实施方式
[0038] 下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
[0039] 实施例一
[0040] 如图1-3所示的基于大数据库的信息数据存储整合系统，其中，服务器数据存储单元存储文件的数据，并将数据依协议分为文件头和存储数据，其中文件头用来记录文件名、文件属性、占用簇号等信息，存储数据用来保存存储文件的真实数据，并且文件头保存在簇内部并映射在文件分配表中；存储数据抽查单元通过固定的抽取规则在服务器数据存储单元的存储数据中抽取多组抽查信息并发送；文件头扩充信息单元读取服务器数据存储单元的文件分配表中的文件头并接收文件头所对应的多组抽查信息，并且将文件头和多组抽查信息组合为文件头扩充信息并储存。
[0041] 数据上传单元上传个体数据，并且接收个体数据所对应的访问链接；数据接收单元接收数据上传单元的个体数据并转发。
[0042] 上传数据文件头提取单元接收数据接收单元的个体数据，并且提取个体数据中的文件头并发送；文件头比对单元接收上传数据文件头提取单元的个体数据中的文件头，并且通过读取服务器数据存储单元的文件分配表中的文件头并与个体数据中的文件头进行比对，当文件分配表中的文件头并与个体数据中的文件头不一致时，将文件头比对结果信号赋值为“0”；当文件分配表中的文件头并与个体数据中的文件头检索信号一致时，将文件头比对结果信号赋值为“1”并发送，并且文件头对比单元支持二次编写，通过二次编写，可选择对比文件头中的文件名、文件属性、占用簇号等信息中的部分信息或者全部信息；上传数据存储数据抽查单元接收数据接收单元的个体数据，通过与存储数据抽查单元相同的抽取规则在个体数据的存储数据中抽取多组抽查信息并发送；存储数据比对单元接收文件头比对单元的文件头比对结果信号，当文件头比对结果信号赋值为“1”时，读取对应文件头扩充信息单元的文件头扩充信息中的多组抽查信息组合，并且接收对应的上传数据存储数据抽查单元的多组抽查信息，并将多组文件头扩充信息单元抽查信息组合与上传数据存储数据抽查单元的抽查信息依次进行比对，当比对结果存在差异时，将比对结果信号赋值为“0”并发送；当比对结果一致时，将比对结果信号赋值为“1”并发送；上传数据写入单元接收存储数据比对单元的比对结果信号，当比对结果信号为“1”时，上传数据写入单元无操作；当比对结果信号为“0”时，将数据接收单元的个体数据写入服务器数据存储单元内并形成访问链接并发送；上传数据拼接单元，当比对结果信号为“0”时，上传数据拼接单元无操作；当比对结果信号为“1”时，将文件头扩充信息单元所对应的服务器数据存储单元的文件的数据形成访问链接并发送；链接发送单元接收上传数据写入单元和上传数据拼接单元的访问链接并转发至数据上传单元。
[0043] 在上述实施例中，采用文件头对比的方式，如果接收的为重复信息，则写入单元无操作，采用此技术方案与现有技术相比，减少了重复的数据占用的存储器空间，并且减少重复数据上传占用的带宽资源，提高了实用性。
[0044] 作为上述实施例的优选，本发明还包括上传存储数据查重单元，用于检测额已上传。具体的，上传存储数据查重单元接收上传数据存储数据抽查单元的个体数据的存储数据的多组抽查信息并存储，并且在内置设定时间段内对多组抽查信息进行计数，当计数结果大于设定值时发出报警信号；报警单元接收上传存储数据查重单元的报警信号并发出报警提示；地址溯源单元接收传存储数据查重单元的报警信号，并且根据对应的多组个体数据的上传地址标记其为黑名单进行存储并向用户显示；审查单元提取地址溯源单元中被标记为黑名单的上传地址，并限制上传地址访问数据上传单元。
[0045] 在上述实施例中，上传存储数据查看单元与报警单元对对恶意上传地址进行限制，减少了恶意上传多份数据的占用存储器空间和带宽资源的情况的发生，提高安全性。
[0046] 作为上述实施例的优选，本发明还包括备份管理单元，备份管理单元备份服务器数据存储单元内的全部数据，并且用户通过控制备份管理单元对备份单元内的存储数据进行读取、写入和删除的操作，并且备份单元与服务器数据存储单元选用不同的物理存储器；
[0047] 在上述实施例中，通过备份管理单元的设置，方便对服务器数据存储单元的数据备份进行管理，减少服务器数据存储单元的物理存储器损坏导致的数据丢失的情况的发生，提高可靠性。
[0048] 以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变型，这些改进和变型也应视为本发明的保护范围。
