基于工业互联网的大数据存储速率优化方法及云计算中心转让专利

申请号 : CN202010335856.X

文献号 : CN111539029B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 章稳建

申请人 : 小快(厦门)网络科技有限公司

摘要 :

本申请是关于基于工业互联网的大数据存储速率优化方法及云计算中心。首先确定第一存储速率和第二存储速率。其次基于获取第一存储速率和第二存储速率之间的每个目标存储速率进行参数调整,得到每个目标存储速率对应的目标数据传输协议。然后在目标数据传输协议及其对应的目标存储速率的基础上进行测试数据的存储以得到第一存储结果和第二存储结果。进而计算每个目标存储速率对应的第一存储结果和第二存储结果之间的数据匹配率。最后根据数据匹配率确定针对第一终端设备和第二终端设备的通用存储速率。基于通用存储速率对第一终端设备和第二终端设备上传的数据进行存储,不仅可以改善数据丢失的现象,还可以减少云计算中心的运行负荷。

权利要求 :

1.一种基于工业互联网的大数据存储速率优化方法,其特征在于,应用于与第一终端设备和第二终端设备通信的云计算中心,所述方法包括:分别基于第一终端设备对应的第一接口类型和第二终端设备对应的第二接口类型,确定对所述第一终端设备上传的数据进行存储的第一存储速率以及对所述第二终端设备上传的数据进行存储的第二存储速率;

获取所述第一存储速率和所述第二存储速率之间的多个目标存储速率;根据每个目标存储速率进行参数调整,得到每个目标存储速率对应的目标数据传输协议;

对每个目标存储速率对应的目标数据传输协议进行使用,并基于每个目标存储速率对所述第一终端设备上传的第一测试数据以及所述第二终端设备上传的第二测试数据进行存储,得到所述第一测试数据对应的第一存储结果以及所述第二测试数据对应的第二存储结果;

计算每个目标存储速率对应的第一存储结果和第二存储结果之间的数据匹配率;其中,所述数据匹配率用于表征所述第一存储结果和所述第二存储结果之间的相似度;

根据所述数据匹配率确定针对所述第一终端设备和所述第二终端设备的通用存储速率;其中,所述云计算中心在存储所述第一终端设备上传的数据以及在存储所述第二终端设备上传的数据时均使用所述通用存储速率;

其中,获取所述第一存储速率和所述第二存储速率之间的多个目标存储速率,包括:确定当前性能参数;其中,所述当前性能参数为所述云计算中心与所述第一终端设备和所述第二终端设备进行通信时所占用的内存资源的映射值,所述映射值通过预设的映射关系列表确定;根据所述当前性能参数确定速率步长;其中,所述速率步长用于表征所述第一存储速率和所述第二存储速率之间的相邻两个存储速率的差值;按照所述速率步长从所述第一存储速率和所述第二存储速率之间确定多个目标存储速率;

其中,根据每个目标存储速率进行参数调整,得到每个目标存储速率对应的目标数据传输协议,包括:在开启预设的参数调整线程时,获取所述参数调整线程对应的线程脚本序列,确定目标存储速率对应的速率响应序列,所述线程脚本序列和所述速率响应序列分别包括多个具有不同序列优先级的节点单元;提取所述参数调整线程在所述线程脚本序列的任一节点单元的参数调整因子,将所述速率响应序列中具有最小序列优先级的节点单元确定为第一节点单元;根据预设的通信协议参数将所述参数调整因子输入到所述第一节点单元,在所述第一节点单元中得到参考因子,并根据所述参数调整因子以及所述参考因子,生成所述参数调整线程和所述目标存储速率之间的关系转换列表;以所述参考因子为拟合点在所述第一节点单元中获取协议报文字符,基于所述关系转换列表将所述协议报文字符导入到所述参数调整因子所在节点单元,在所述参数调整因子所在节点单元中得到所述协议报文字符对应的映射参数;按照所述通信协议参数对应的每个参数节点的连接关系对所述映射参数进行整合,得到所述映射参数对应的参数序列;将所述参数序列加载至所述参数调整线程并获取所述参数调整线程基于所述参数序列输出的调整结果,根据所述调整结果确定所述目标数据传输协议。

2.如权利要求1所述的方法,其特征在于,所述根据所述数据匹配率确定针对所述第一终端设备和所述第二终端设备的通用存储速率,包括:将最大数据匹配率对应的目标存储速率确定为所述通用存储速率。

3.如权利要求1所述的方法,其特征在于,所述根据所述数据匹配率确定针对所述第一终端设备和所述第二终端设备的通用存储速率,包括:判断计算出的最大数据匹配率是否大于或等于设定匹配率;

在判定出所述最大数据匹配率大于或等于所述设定匹配率时,将所述最大数据匹配率对应的目标存储速率确定为所述通用存储速率;

在判定出所述最大数据匹配率小于所述设定匹配率时,确定与所述最大数据匹配率对应的目标存储速率相邻的第一目标存储速率和第二目标存储速率;

对所述速率步长进行缩短得到当前速率步长;按照当前速率步长从所述第一目标存储速率和所述第二目标存储速率之间确定出多个中间存储速率;

计算每个中间存储速率对应的中间数据匹配率;判断最小中间数据匹配率是否大于或等于所述设定匹配率;在最小中间数据匹配率大于或等于所述设定匹配率时,将最大中间数据匹配率对应的中间存储速率确定为所述通用存储速率;在最小中间数据匹配率小于所述设定匹配率时,确定与所述最大中间数据匹配率对应的中间存储速率相邻的第一中间存储速率和第二中间存储速率,改变当前速率步长并返回执行按照当前速率步长从所述第一目标存储速率和所述第二目标存储速率之间确定出多个中间存储速率的步骤。

4.如权利要求1-3任一项所述的方法,其特征在于,所述计算每个目标存储速率对应的第一存储结果和第二存储结果之间的数据匹配率,包括:分别将所述第一存储结果和所述第二存储结果以字符编码的形式列出,得到所述第一存储结果对应的第一编码字符串以及所述第二存储结果对应的第二编码字符串;

确定所述第一测试数据或所述第二测试数据对应的第三编码字符串;

确定所述第一编码字符串与所述第三编码字符串的第一相似度以及所述第二编码字符串与所述第三编码字符串的第二相似度;

将所述第一编码字符串与所述第二编码字符串进行逐位比较,得到所述第一编码字符串与所述第二编码字符串之间的第三相似度;

按照所述第一相似度与所述第二相似度的比值对所述第三相似度进行加权得到第四相似度并将所述第四相似度确定为所述第一存储结果和所述第二存储结果之间的数据匹配率。

5.如权利要求1-3任一项所述的方法,其特征在于,所述分别基于第一终端设备对应的第一接口类型和第二终端设备对应的第二接口类型,确定对所述第一终端设备上传的数据进行存储的第一存储速率以及对所述第二终端设备上传的数据进行存储的第二存储速率,包括:计算以所述第一接口类型进行数据传输的第一失真率以及以所述第二接口类型进行数据传输的第二失真率;

分别在预设的关系曲线中获取所述第一失真率对应的第一节点值以及所述第二失真率对应的第二节点值;其中,所述关系曲线为失真率与存储速率的曲线,节点值用于表征存储速率;

确定所述第一接口类型的第一类型参数以及所述第二接口类型的第二类型参数,通过所述第一类型参数对所述第一节点值进行修正得到所述第一存储速率,通过所述第二类型参数对所述第二节点值进行修正得到所述第二存储速率。

6.一种云计算中心,其特征在于,包括:

处理器,以及

与处理器连接的内存和网络接口;

所述网络接口与云计算中心中的非易失性存储器连接;

所述处理器在运行时通过所述网络接口从所述非易失性存储器中调取计算机程序,并通过所述内存运行所述计算机程序,以执行上述权利要求1-5任一项所述的方法。

7.一种应用于计算机的可读存储介质,其特征在于,所述可读存储介质烧录有计算机程序,所述计算机程序在云计算中心的内存中运行时实现上述权利要求1-5任一项所述的方法。

说明书 :

基于工业互联网的大数据存储速率优化方法及云计算中心

技术领域

[0001] 本申请涉及工业互联网的大数据处理技术领域,尤其涉及基于工业互联网的大数据存储速率优化方法及云计算中心。

背景技术

[0002] 随着工业互联网的快速发展,大数据存储已然成为现目前重要的数据处理手段之一。例如,基于大数据处理的云计算中心能够将不同终端设备的数据进行存储以便于后期对这些数据进行调用、分析和挖掘。由于不同终端设备与云计算中心的之间的接口类型不同,云计算中心对终端设备上传的数据进行存储的速率也不同。若云计算中心以其中一个终端设备对应的存储速率对与云计算中心通信的各个终端设备上传的数据进行存储,在接收数据的过程中可能导致数据的大面积丢失。若云计算中心针对不同终端设备开启不同存储速率的线程,则会极大地增加云计算中心的运行负荷。

发明内容

[0003] 本申请提供基于工业互联网的大数据存储速率优化方法及云计算中心,以改善现有技术存在的上述问题。
[0004] 第一方面,提供一种基于工业互联网的大数据存储速率优化方法,应用于与第一终端设备和第二终端设备通信的云计算中心,所述方法包括:
[0005] 分别基于第一终端设备对应的第一接口类型和第二终端设备对应的第二接口类型,确定对所述第一终端设备上传的数据进行存储的第一存储速率以及对所述第二终端设备上传的数据进行存储的第二存储速率;
[0006] 获取所述第一存储速率和所述第二存储速率之间的多个目标存储速率;根据每个目标存储速率进行参数调整,得到每个目标存储速率对应的目标数据传输协议;
[0007] 对每个目标存储速率对应的目标数据传输协议进行使用,并基于每个目标存储速率对所述第一终端设备上传的第一测试数据以及所述第二终端设备上传的第二测试数据进行存储,得到所述第一测试数据对应的第一存储结果以及所述第二测试数据对应的第二存储结果;
[0008] 计算每个目标存储速率对应的第一存储结果和第二存储结果之间的数据匹配率;其中,所述数据匹配率用于表征所述第一存储结果和所述第二存储结果之间的相似度;
[0009] 根据所述数据匹配率确定针对所述第一终端设备和所述第二终端设备的通用存储速率;其中,所述云计算中心在存储所述第一终端设备上传的数据以及在存储所述第二终端设备上传的数据时均使用所述通用存储速率。
[0010] 优选地,所述根据所述数据匹配率确定针对所述第一终端设备和所述第二终端设备的通用存储速率,包括:
[0011] 将最大数据匹配率对应的目标存储速率确定为所述通用存储速率。
[0012] 优选地,所述获取所述第一存储速率和所述第二存储速率之间的多个目标存储速率,包括:
[0013] 确定当前性能参数;其中,所述当前性能参数为所述云计算中心与所述第一终端设备和所述第二终端设备进行通信时所占用的内存资源的映射值,所述映射值通过预设的映射关系列表确定;
[0014] 根据所述当前性能参数确定速率步长;其中,所述速率步长用于表征所述第一存储速率和所述第二存储速率之间的相邻两个存储速率的差值;
[0015] 按照所述速率步长从所述第一存储速率和所述第二存储速率之间确定多个目标存储速率。
[0016] 优选地,所述根据所述数据匹配率确定针对所述第一终端设备和所述第二终端设备的通用存储速率,包括:
[0017] 判断计算出的最大数据匹配率是否大于或等于设定匹配率;
[0018] 在判定出所述最大数据匹配率大于或等于所述设定匹配率时,将所述最大数据匹配率对应的目标存储速率确定为所述通用存储速率;
[0019] 在判定出所述最大数据匹配率小于所述设定匹配率时,确定与所述最大数据匹配率对应的目标存储速率相邻的第一目标存储速率和第二目标存储速率;
[0020] 对所述速率步长进行缩短得到当前速率步长;按照当前速率步长从所述第一目标存储速率和所述第二目标存储速率之间确定出多个中间存储速率;
[0021] 计算每个中间存储速率对应的中间数据匹配率;判断最小中间数据匹配率是否大于或等于所述设定匹配率;在最小中间数据匹配率大于或等于所述设定匹配率时,将最大中间数据匹配率对应的中间存储速率确定为所述通用存储速率;在最小中间数据匹配率小于所述设定匹配率时,确定与所述最大中间数据匹配率对应的中间存储速率相邻的第一中间存储速率和第二中间存储速率,改变当前速率步长并返回执行按照当前速率步长从所述第一目标存储速率和所述第二目标存储速率之间确定出多个中间存储速率的步骤。
[0022] 优选地,所述计算每个目标存储速率对应的第一存储结果和第二存储结果之间的数据匹配率,包括:
[0023] 分别将所述第一存储结果和所述第二存储结果以字符编码的形式列出,得到所述第一存储结果对应的第一编码字符串以及所述第二存储结果对应的第二编码字符串;
[0024] 确定所述第一测试数据或所述第二测试数据对应的第三编码字符串;
[0025] 确定所述第一编码字符串与所述第三编码字符串的第一相似度以及所述第二编码字符串与所述第三编码字符串的第二相似度;
[0026] 将所述第一编码字符串与所述第二编码字符串进行逐位比较,得到所述第一编码字符串与所述第二编码字符串之间的第三相似度;
[0027] 按照所述第一相似度与所述第二相似度的比值对所述第三相似度进行加权得到第四相似度并将所述第四相似度确定为所述第一存储结果和所述第二存储结果之间的数据匹配率。
[0028] 优选地,所述分别基于第一终端设备对应的第一接口类型和第二终端设备对应的第二接口类型,确定对所述第一终端设备上传的数据进行存储的第一存储速率以及对所述第二终端设备上传的数据进行存储的第二存储速率,包括:
[0029] 计算以所述第一接口类型进行数据传输的第一失真率以及以所述第二接口类型进行数据传输的第二失真率;
[0030] 分别在预设的关系曲线中获取所述第一失真率对应的第一节点值以及所述第二失真率对应的第二节点值;其中,所述关系曲线为失真率与存储速率的曲线,节点值用于表征存储速率;
[0031] 确定所述第一接口类型的第一类型参数以及所述第二接口类型的第二类型参数,通过所述第一类型参数对所述第一节点值进行修正得到所述第一存储速率,通过所述第二类型参数对所述第二节点值进行修正得到所述第二存储速率。
[0032] 优选地,所述根据每个目标存储速率进行参数调整,得到每个目标存储速率对应的目标数据传输协议,包括:
[0033] 在开启预设的参数调整线程时,获取所述参数调整线程对应的线程脚本序列,确定目标存储速率对应的速率响应序列,所述线程脚本序列和所述速率响应序列分别包括多个具有不同序列优先级的节点单元;
[0034] 提取所述参数调整线程在所述线程脚本序列的任一节点单元的参数调整因子,将所述速率响应序列中具有最小序列优先级的节点单元确定为第一节点单元;
[0035] 根据预设的通信协议参数将所述参数调整因子输入到所述第一节点单元,在所述第一节点单元中得到参考因子,并根据所述参数调整因子以及所述参考因子,生成所述参数调整线程和所述目标存储速率之间的关系转换列表;
[0036] 以所述参考因子为拟合点在所述第一节点单元中获取协议报文字符,基于所述关系转换列表将所述协议报文字符导入到所述参数调整因子所在节点单元,在所述参数调整因子所在节点单元中得到所述协议报文字符对应的映射参数;
[0037] 按照所述通信协议参数对应的每个参数节点的连接关系对所述映射参数进行整合,得到所述映射参数对应的参数序列;将所述参数序列加载至所述参数调整线程并获取所述参数调整线程基于所述参数序列输出的调整结果,根据所述调整结果确定所述目标数据传输协议。
[0038] 第二方面,提供一种云计算中心,包括:处理器,以及与处理器连接的内存和网络接口;所述网络接口与云计算中心中的非易失性存储器连接;所述处理器在运行时通过所述网络接口从所述非易失性存储器中调取计算机程序,并通过所述内存运行所述计算机程序,以执行上述的方法。
[0039] 第三方面,提供一种应用于计算机的可读存储介质,所述可读存储介质烧录有计算机程序,所述计算机程序在云计算中心的内存中运行时实现上述的方法。
[0040] 通过上述技术方案,首先确定第一存储速率和第二存储速率。其次基于获取第一存储速率和第二存储速率之间的每个目标存储速率进行参数调整,得到每个目标存储速率对应的目标数据传输协议。然后在目标数据传输协议及其对应的目标存储速率的基础上进行测试数据的存储以得到第一存储结果和第二存储结果。进而计算每个目标存储速率对应的第一存储结果和第二存储结果之间的数据匹配率。最后根据数据匹配率确定针对第一终端设备和第二终端设备的通用存储速率。基于通用存储速率对第一终端设备和第二终端设备上传的数据进行存储,不仅可以改善数据丢失的现象,还可以减少云计算中心的运行负荷。

附图说明

[0041] 此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申请的实施例,并与说明书一起用于解释本申请的原理。
[0042] 图1是本申请根据一示例性实施例示出的一种基于工业互联网的大数据存储速率优化方法的流程图。
[0043] 图2是本申请根据一示例性实施例示出的一种基于工业互联网的大数据存储速率优化装置的一个实施例框图。
[0044] 图3为本申请基于工业互联网的大数据存储速率优化装置所在云计算中心的一种硬件结构图。

具体实施方式

[0045] 这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
[0046] 为此改善云计算中心难以对不同存储速率的数据进行有效处理的技术问题,本发明实施例提供了基于工业互联网的大数据存储速率优化方法及云计算中心,能够从两个不同的存储速率之间确定出一个目标存储速率,然后基于该目标存储速率对不同终端设备上传的数据进行存储。这样,不仅可以改善数据丢失的现象,还可以减少云计算中心的运行负荷。
[0047] 可以理解,以下所介绍的大数据存储速率优化方法可以应用工业互联网对应的物联网、车联网、人工智能、智慧城市或智慧交通的等领域,在此不作限定。在应用于不同领域时,对应的业务数据也不同。
[0048] 请参照图1,为本发明实施例所提供的基于工业互联网的大数据存储速率优化方法的流程示意图,该方法可以应用于与第一终端设备和第二终端设备通信的云计算中心,该方法具体可以包括以下步骤所描述的内容。
[0049] S110,分别基于第一终端设备对应的第一接口类型和第二终端设备对应的第二接口类型,确定对所述第一终端设备上传的数据进行存储的第一存储速率以及对所述第二终端设备上传的数据进行存储的第二存储速率。
[0050] 在本实施例中,存储速率可以理解为云计算中心在单位时间内(例如每秒)存储的数据量(单位可以是Mb)。
[0051] S120,获取所述第一存储速率和所述第二存储速率之间的多个目标存储速率;根据每个目标存储速率进行参数调整,得到每个目标存储速率对应的目标数据传输协议。
[0052] 在本实施例中,每个目标存储速率对应目标数据传输协议可以用于表征云计算中心与第一终端设备和第二终端设备之间进行数据传输时的协议。
[0053] S130,对每个目标存储速率对应的目标数据传输协议进行使用,并基于每个目标存储速率对所述第一终端设备上传的第一测试数据以及所述第二终端设备上传的第二测试数据进行存储,得到所述第一测试数据对应的第一存储结果以及所述第二测试数据对应的第二存储结果。
[0054] 在本实施例中,第一测试数据和第二测试数据为相同的数据。第一存储结果可以理解为云计算中心按照目标存储速率对第一终端设备上传的第一测试数据进行存储所得到的存储数据。第二存储结果可以理解为云计算中心按照目标存储速率对第二终端设备上传的第二测试数据进行存储所得到的存储数据。
[0055] S140,计算每个目标存储速率对应的第一存储结果和第二存储结果之间的数据匹配率;其中,所述数据匹配率用于表征所述第一存储结果和所述第二存储结果之间的相似度。
[0056] S150,根据所述数据匹配率确定针对所述第一终端设备和所述第二终端设备的通用存储速率;其中,所述云计算中心在存储所述第一终端设备上传的数据以及在存储所述第二终端设备上传的数据时均使用所述通用存储速率。
[0057] 在应用上述方案时,首先确定第一存储速率和第二存储速率。其次基于获取第一存储速率和第二存储速率之间的每个目标存储速率进行参数调整,得到每个目标存储速率对应的目标数据传输协议。然后在目标数据传输协议及其对应的目标存储速率的基础上进行测试数据的存储以得到第一存储结果和第二存储结果。进而计算每个目标存储速率对应的第一存储结果和第二存储结果之间的数据匹配率。最后根据数据匹配率确定针对第一终端设备和第二终端设备的通用存储速率。基于通用存储速率对第一终端设备和第二终端设备上传的数据进行存储,不仅可以改善数据丢失的现象,还可以减少云计算中心的运行负荷。
[0058] 在一个可能的示例中,S150所描述的根据所述数据匹配率确定针对所述第一终端设备和所述第二终端设备的通用存储速率的步骤,进一步包括:将最大数据匹配率对应的目标存储速率确定为所述通用存储速率。
[0059] 可以理解,最大数据匹配率表征第一存储结果和第二存储结果之间的相似度为最大值,表征云计算中心对第一测试数据以及第二测试数据进行存储时,所得到的第一存储结果和第二存储结果的数据丢失比率为最低值。在这种情况下,可以确定出云计算中心以最大数据匹配率对第一终端设备和第二终端设备上传得数据进行存储时的数据丢失率最小,不仅可以改善数据丢失的现象,还可以减少云计算中心的运行负荷。
[0060] 在另一个可能的示例中,在S120中,获取所述第一存储速率和所述第二存储速率之间的多个目标存储速率的步骤,具体可以包括以下内容。
[0061] S121,确定当前性能参数;其中,所述当前性能参数为所述云计算中心与所述第一终端设备和所述第二终端设备进行通信时所占用的内存资源的映射值,所述映射值通过预设的映射关系列表确定。
[0062] S122,根据所述当前性能参数确定速率步长;其中,所述速率步长用于表征所述第一存储速率和所述第二存储速率之间的相邻两个存储速率的差值。
[0063] S123,按照所述速率步长从所述第一存储速率和所述第二存储速率之间确定多个目标存储速率。
[0064] 在应用上述S121-S123时,能够基于云计算中心的当前性能参数确定速率步长,这样能够在不影响云计算中心的正常运行的前提下根据速率步长确定出多个目标存储速率,从而提高目标存储速率的确定效率和精度。
[0065] 在S121-S123的基础上,S150中的通用存储速率还可以通过以下步骤确定。
[0066] S151,判断计算出的最大数据匹配率是否大于或等于设定匹配率。
[0067] S152,在判定出所述最大数据匹配率大于或等于所述设定匹配率时,将所述最大数据匹配率对应的目标存储速率确定为所述通用存储速率。
[0068] S153,在判定出所述最大数据匹配率小于所述设定匹配率时,确定与所述最大数据匹配率对应的目标存储速率相邻的第一目标存储速率和第二目标存储速率。
[0069] S154,对所述速率步长进行缩短得到当前速率步长;按照当前速率步长从所述第一目标存储速率和所述第二目标存储速率之间确定出多个中间存储速率。
[0070] 例如,缩短前的速率步长可以为20Mb/s,缩短后的当前速率步长可以为10Mb/s。
[0071] S155,计算每个中间存储速率对应的中间数据匹配率;判断最小中间数据匹配率是否大于或等于所述设定匹配率;在最小中间数据匹配率大于或等于所述设定匹配率时,将最大中间数据匹配率对应的中间存储速率确定为所述通用存储速率;在最小中间数据匹配率小于所述设定匹配率时,确定与所述最大中间数据匹配率对应的中间存储速率相邻的第一中间存储速率和第二中间存储速率,改变当前速率步长并返回执行按照当前速率步长从所述第一目标存储速率和所述第二目标存储速率之间确定出多个中间存储速率的步骤。
[0072] 可以理解,通过S151-S155,能够根据最大数据匹配率与设定匹配率的大小比较结果对速率步长进行调整,进而实现对通用存储速率的循环迭代拟合。这样能够确定出数据匹配率满足大小比较条件的存储速率作为通用存储速率,以改善数据丢失的现象并减少云计算中心的运行负荷。
[0073] 在一个实施例中,S140所描述的计算每个目标存储速率对应的第一存储结果和第二存储结果之间的数据匹配率,具体可以包括以下步骤所描述的内容。
[0074] S141,分别将所述第一存储结果和所述第二存储结果以字符编码的形式列出,得到所述第一存储结果对应的第一编码字符串以及所述第二存储结果对应的第二编码字符串。
[0075] S142,确定所述第一测试数据或所述第二测试数据对应的第三编码字符串。
[0076] 在本实施例中,由于第一测试数据和第二测试数据为相同的数据,则第一测试数据或第二测试数据的字符编码形式是相同的,为便于说明,以第三编码字符串表示第一测试数据或第二测试数据的字符编码。
[0077] S143,确定所述第一编码字符串与所述第三编码字符串的第一相似度以及所述第二编码字符串与所述第三编码字符串的第二相似度。
[0078] S144,将所述第一编码字符串与所述第二编码字符串进行逐位比较,得到所述第一编码字符串与所述第二编码字符串之间的第三相似度。
[0079] S145,按照所述第一相似度与所述第二相似度的比值对所述第三相似度进行加权得到第四相似度并将所述第四相似度确定为所述第一存储结果和所述第二存储结果之间的数据匹配率。
[0080] 在应用上述S144-S145所描述的方法时,能够将存储前后的数据对应的编码字符串进行比较,得到第一相似度和第二相似度,然后对第一存储结果喝第二存储结果对应的第三相似度进行加权。如此,能够准确确定出每个目标存储速率对应的第一存储结果和第二存储结果之间的数据匹配率。
[0081] 在一个示例中,S110所描述的分别基于第一终端设备对应的第一接口类型和第二终端设备对应的第二接口类型,确定对所述第一终端设备上传的数据进行存储的第一存储速率以及对所述第二终端设备上传的数据进行存储的第二存储速率,具体可以包括以下步骤所描述的内容。
[0082] S111,计算以所述第一接口类型进行数据传输的第一失真率以及以所述第二接口类型进行数据传输的第二失真率。
[0083] S112,分别在预设的关系曲线中获取所述第一失真率对应的第一节点值以及所述第二失真率对应的第二节点值;其中,所述关系曲线为失真率与存储速率的曲线,节点值用于表征存储速率。
[0084] S113,确定所述第一接口类型的第一类型参数以及所述第二接口类型的第二类型参数,通过所述第一类型参数对所述第一节点值进行修正得到所述第一存储速率,通过所述第二类型参数对所述第二节点值进行修正得到所述第二存储速率。
[0085] 可以理解,通过上述S111-S113,能够将终端设备的接口类型以及数据传输的失真率考虑在内,从而准确确定出第一存储速率和第二存储速率。
[0086] 在具体实施时,步骤S120所描述的根据每个目标存储速率进行参数调整,得到每个目标存储速率对应的目标数据传输协议,进一步包括以下步骤所描述的内容。
[0087] (1)在开启预设的参数调整线程时,获取所述参数调整线程对应的线程脚本序列,确定目标存储速率对应的速率响应序列,所述线程脚本序列和所述速率响应序列分别包括多个具有不同序列优先级的节点单元。
[0088] (2)提取所述参数调整线程在所述线程脚本序列的任一节点单元的参数调整因子,将所述速率响应序列中具有最小序列优先级的节点单元确定为第一节点单元。
[0089] (3)根据预设的通信协议参数将所述参数调整因子输入到所述第一节点单元,在所述第一节点单元中得到参考因子,并根据所述参数调整因子以及所述参考因子,生成所述参数调整线程和所述目标存储速率之间的关系转换列表。
[0090] (4)以所述参考因子为拟合点在所述第一节点单元中获取协议报文字符,基于所述关系转换列表将所述协议报文字符导入到所述参数调整因子所在节点单元,在所述参数调整因子所在节点单元中得到所述协议报文字符对应的映射参数。
[0091] (5)按照所述通信协议参数对应的每个参数节点的连接关系对所述映射参数进行整合,得到所述映射参数对应的参数序列;将所述参数序列加载至所述参数调整线程并获取所述参数调整线程基于所述参数序列输出的调整结果,根据所述调整结果确定所述目标数据传输协议。
[0092] 可以理解,通过上述步骤所描述的内容,能够完整、准确地确定每个目标存储速率对应的目标数据传输协议。
[0093] 在一种可替换的实施方式中,在执行S130所描述的基于每个目标存储速率对所述第一终端设备上传的第一测试数据以及所述第二终端设备上传的第二测试数据进行存储,得到所述第一测试数据对应的第一存储结果以及所述第二测试数据对应的第二存储结果的步骤时,确定第一存储结果和确定第二储存结果的步骤是类似的。依次,下面仅对如何基于目标存储速率对第一测试数据进行存储得到第一存储结果进行描述。
[0094] S131,确定所述第一测试数据的数据格式信息对应的格式脚本及所述数据格式信息的格式标识,所述格式标识表示所述第一测试数据的数据格式信息的格式区分度;所述格式标识至少包括:表示所述第一测试数据的数据格式信息的第一区分度和第二区分度。
[0095] S132,获取与所述格式脚本对应的脚本序列文件,所述脚本序列文件中包含有预先提取的所述目标存储速率的速率配置信息,所述目标存储速率的速率配置信息表示位于所述脚本序列文件中设定文件内且与所述格式脚本的编码信息对应的数据格式信息的第三区分度。
[0096] S133,确定所述第一区分度与所述第三区分度的第一映射关系以及所述第二区分度与所述第三区分度的第二映射关系;分别将所述第一映射关系的第一描述信息以及所述第二映射关系的第二描述信息列出;确定所述第一描述信息与第二描述信息的信息缺失系数;其中,所述信息缺失系数与所述目标存储速率呈反比例关系。
[0097] S134,基于所述目标存储速率将所述第一测试数据以数据流的形式进行存储并基于所述信息缺失系数对存储的数据流进行修正,得到第一存储结果。
[0098] 在应用S131-S134时,能够将目标存储速率与信息缺失系数之间的反比例关系考虑在内,从而在对第一测试数据进行存储时,将第一测试数据的数据丢失情况进行考虑。这样,可以准确确定出第一存储结果。
[0099] 可以理解,第二储存结果的获得方式与上述第一存储结果的获得方式类似,因此在此不作更多说明。
[0100] 在另一种可替换的实施方式中,所述方法还可以根据云计算中心的时间片资源对设定匹配率进行修改,从而确保设定匹配率与云计算中心的时间片资源的一致性。为此,可以通过以下步骤对设定匹配率进行修改。
[0101] (1)获取当前时间片资源的输出信息;其中,所述输出信息用于表征云计算中心的时间片资源的分布信息。
[0102] (2)对所述当前时间片资源的输出信息进行拆分,获得多个时间片资源块;对每个时间片资源块进行信息提取,得到每个时间片资源块对应的资源占用标识。
[0103] (3)确定每个资源占用标识与所述设定匹配率之间的影响因子;其中,所述影响因子用于表征所述资源占用标识对应的时间片资源块对所述云计算中心在采用所述设定匹配率时的延时时长。
[0104] (4)在所述影响因子位于设定数值区间内时,继续使用所述设定匹配率;在所述影响因子位于所述设定数值区间外时,对所述设定匹配率进行修改并返回获取当前时间片资源的输出信息的步骤。
[0105] 可以理解,通过上述步骤,能够根据资源占用标识与设定匹配率之间的影响因子与设定数值区间的关系对设定匹配率进行修改。这样,能够确保设定匹配率与云计算中心的时间片资源的一致性,进而确保设定匹配率的准确性,从而基于设定匹配率准确地确定出通用存储速率。
[0106] 在上述基础上,本申请实施例还提供了一种与上述方法相对应的大数据存储速率优化装置100示意图,具体描述如下。
[0107] A1.一种基于工业互联网的大数据存储速率优化装置,应用于与第一终端设备和第二终端设备通信的云计算中心,所述装置包括:
[0108] 速率确定模块110,用于分别基于第一终端设备对应的第一接口类型和第二终端设备对应的第二接口类型,确定对所述第一终端设备上传的数据进行存储的第一存储速率以及对所述第二终端设备上传的数据进行存储的第二存储速率;
[0109] 协议获取模块120,用于获取所述第一存储速率和所述第二存储速率之间的多个目标存储速率;根据每个目标存储速率进行参数调整,得到每个目标存储速率对应的目标数据传输协议;
[0110] 数据存储模块130,用于对每个目标存储速率对应的目标数据传输协议进行使用,并基于每个目标存储速率对所述第一终端设备上传的第一测试数据以及所述第二终端设备上传的第二测试数据进行存储,得到所述第一测试数据对应的第一存储结果以及所述第二测试数据对应的第二存储结果;
[0111] 匹配计算模块140,用于计算每个目标存储速率对应的第一存储结果和第二存储结果之间的数据匹配率;其中,所述数据匹配率用于表征所述第一存储结果和所述第二存储结果之间的相似度;
[0112] 速率确定模块150,用于根据所述数据匹配率确定针对所述第一终端设备和所述第二终端设备的通用存储速率;其中,所述云计算中心在存储所述第一终端设备上传的数据以及在存储所述第二终端设备上传的数据时均使用所述通用存储速率。
[0113] A2.如A1所述的装置,所述速率确定模块150,具体用于:
[0114] 将最大数据匹配率对应的目标存储速率确定为所述通用存储速率。
[0115] A3.如A1所述的装置,所述协议获取模块120,具体用于:
[0116] 确定当前性能参数;其中,所述当前性能参数为所述云计算中心与所述第一终端设备和所述第二终端设备进行通信时所占用的内存资源的映射值,所述映射值通过预设的映射关系列表确定;
[0117] 根据所述当前性能参数确定速率步长;其中,所述速率步长用于表征所述第一存储速率和所述第二存储速率之间的相邻两个存储速率的差值;
[0118] 按照所述速率步长从所述第一存储速率和所述第二存储速率之间确定多个目标存储速率。
[0119] A4.如A3所述的装置,所述速率确定模块150,用于:
[0120] 判断计算出的最大数据匹配率是否大于或等于设定匹配率;
[0121] 在判定出所述最大数据匹配率大于或等于所述设定匹配率时,将所述最大数据匹配率对应的目标存储速率确定为所述通用存储速率;
[0122] 在判定出所述最大数据匹配率小于所述设定匹配率时,确定与所述最大数据匹配率对应的目标存储速率相邻的第一目标存储速率和第二目标存储速率;
[0123] 对所述速率步长进行缩短得到当前速率步长;按照当前速率步长从所述第一目标存储速率和所述第二目标存储速率之间确定出多个中间存储速率;
[0124] 计算每个中间存储速率对应的中间数据匹配率;判断最小中间数据匹配率是否大于或等于所述设定匹配率;在最小中间数据匹配率大于或等于所述设定匹配率时,将最大中间数据匹配率对应的中间存储速率确定为所述通用存储速率;在最小中间数据匹配率小于所述设定匹配率时,确定与所述最大中间数据匹配率对应的中间存储速率相邻的第一中间存储速率和第二中间存储速率,改变当前速率步长并返回执行按照当前速率步长从所述第一目标存储速率和所述第二目标存储速率之间确定出多个中间存储速率的步骤。
[0125] A5.如A1-A4任一项所述的装置,所述匹配计算模块140,具体用于:
[0126] 分别将所述第一存储结果和所述第二存储结果以字符编码的形式列出,得到所述第一存储结果对应的第一编码字符串以及所述第二存储结果对应的第二编码字符串;
[0127] 确定所述第一测试数据或所述第二测试数据对应的第三编码字符串;
[0128] 确定所述第一编码字符串与所述第三编码字符串的第一相似度以及所述第二编码字符串与所述第三编码字符串的第二相似度;
[0129] 将所述第一编码字符串与所述第二编码字符串进行逐位比较,得到所述第一编码字符串与所述第二编码字符串之间的第三相似度;
[0130] 按照所述第一相似度与所述第二相似度的比值对所述第三相似度进行加权得到第四相似度并将所述第四相似度确定为所述第一存储结果和所述第二存储结果之间的数据匹配率。
[0131] A6.如A1-A4任一项所述的装置,所述速率确定模块110,具体用于:
[0132] 计算以所述第一接口类型进行数据传输的第一失真率以及以所述第二接口类型进行数据传输的第二失真率;
[0133] 分别在预设的关系曲线中获取所述第一失真率对应的第一节点值以及所述第二失真率对应的第二节点值;其中,所述关系曲线为失真率与存储速率的曲线,节点值用于表征存储速率;
[0134] 确定所述第一接口类型的第一类型参数以及所述第二接口类型的第二类型参数,通过所述第一类型参数对所述第一节点值进行修正得到所述第一存储速率,通过所述第二类型参数对所述第二节点值进行修正得到所述第二存储速率。
[0135] A7.如A1所述的装置,所述协议获取模块120,具体用于:
[0136] 在开启预设的参数调整线程时,获取所述参数调整线程对应的线程脚本序列,确定目标存储速率对应的速率响应序列,所述线程脚本序列和所述速率响应序列分别包括多个具有不同序列优先级的节点单元;
[0137] 提取所述参数调整线程在所述线程脚本序列的任一节点单元的参数调整因子,将所述速率响应序列中具有最小序列优先级的节点单元确定为第一节点单元;
[0138] 根据预设的通信协议参数将所述参数调整因子输入到所述第一节点单元,在所述第一节点单元中得到参考因子,并根据所述参数调整因子以及所述参考因子,生成所述参数调整线程和所述目标存储速率之间的关系转换列表;
[0139] 以所述参考因子为拟合点在所述第一节点单元中获取协议报文字符,基于所述关系转换列表将所述协议报文字符导入到所述参数调整因子所在节点单元,在所述参数调整因子所在节点单元中得到所述协议报文字符对应的映射参数;
[0140] 按照所述通信协议参数对应的每个参数节点的连接关系对所述映射参数进行整合,得到所述映射参数对应的参数序列;将所述参数序列加载至所述参数调整线程并获取所述参数调整线程基于所述参数序列输出的调整结果,根据所述调整结果确定所述目标数据传输协议。
[0141] A8.如A1所述的装置,所述数据存储模块130,具体用于:
[0142] 确定所述第一测试数据的数据格式信息对应的格式脚本及所述数据格式信息的格式标识,所述格式标识表示所述第一测试数据的数据格式信息的格式区分度;所述格式标识至少包括:表示所述第一测试数据的数据格式信息的第一区分度和第二区分度;
[0143] 获取与所述格式脚本对应的脚本序列文件,所述脚本序列文件中包含有预先提取的所述目标存储速率的速率配置信息,所述目标存储速率的速率配置信息表示位于所述脚本序列文件中设定文件内且与所述格式脚本的编码信息对应的数据格式信息的第三区分度;
[0144] 确定所述第一区分度与所述第三区分度的第一映射关系以及所述第二区分度与所述第三区分度的第二映射关系;分别将所述第一映射关系的第一描述信息以及所述第二映射关系的第二描述信息列出;确定所述第一描述信息与第二描述信息的信息缺失系数;其中,所述信息缺失系数与所述目标存储速率呈反比例关系;
[0145] 基于所述目标存储速率将所述第一测试数据以数据流的形式进行存储并基于所述信息缺失系数对存储的数据流进行修正,得到第一存储结果。
[0146] A9.如A4所述的装置,所述装置还包括匹配修改模块160,用于:
[0147] 获取当前时间片资源的输出信息;其中,所述输出信息用于表征云计算中心的时间片资源的分布信息;
[0148] 对所述当前时间片资源的输出信息进行拆分,获得多个时间片资源块;对每个时间片资源块进行信息提取,得到每个时间片资源块对应的资源占用标识;
[0149] 确定每个资源占用标识与所述设定匹配率之间的影响因子;其中,所述影响因子用于表征所述资源占用标识对应的时间片资源块对所述云计算中心在采用所述设定匹配率时的延时时长;
[0150] 在所述影响因子位于设定数值区间内时,继续使用所述设定匹配率;在所述影响因子位于所述设定数值区间外时,对所述设定匹配率进行修改并返回获取当前时间片资源的输出信息的步骤。
[0151] 关于上述功能模块的说明请参阅对方法实施例的描述,在此不作更多说明。
[0152] 在上述基础上,请结合参阅图3,进一步提供了一种云计算中心200,包括:处理器220,以及与处理器220连接的内存240和网络接口260;所述网络接口260与云计算中心200中的非易失性存储器280连接;所述处理器220在运行时通过所述网络接口260从所述非易失性存储器280中调取计算机程序,并通过所述内存240运行所述计算机程序,以执行上述的方法。
[0153] 在上述基础上,进一步提供了一种应用于计算机的可读存储介质,所述可读存储介质烧录有计算机程序,所述计算机程序在云计算中心200的内存240中运行时实现上述的方法。
[0154] 应当理解的是,本申请并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。