本发明公开了一种基于多云对象存储的统一传输方法及系统，所述方法包括以下步骤：S1.业务系统需要使用对象存储业务时，根据动态配置的数据，根据上层应用唯一id选取第三方云厂商的云储存；S2.业务系统调用聚合服务API将上传文件到云存储、下载文件到本地和删除云存储中文件的操作指令进行下发；S3.传输组件根据第三方云厂商信息和业务系统的下发指令，自动适配第三方云厂商对外的SDK或API，实现对象存储。本系统和方法用于自动适配服务商对外的api，实现对象存储，能够有效降低上层应用适配云存储的开发成本。
1.一种基于多云对象存储的统一传输方法，其特征在于，包括以下步骤：
S1. 业务系统需要使用对象存储业务时，根据动态配置的数据，根据上层应用选取第三方云厂商云储存；第三方云厂商的底层实现存在差异性，所述差异性为对外开发的SDK或API接口不一致，包括请求方式和请求参数；
S2.业务系统调用聚合服务API将上传文件到云存储、下载文件到本地和删除云存储中文件的操作指令进行下发；聚合服务API对不同的第三方云厂商对外的SDK和API接口进行了封装，对业务系统屏蔽了SDK或API的差异性，聚合服务API提供了一个统一的OSS文件操作API；
S3.传输组件根据第三方云厂商信息和业务系统的下发指令，自动适配第三方云厂商对外的SDK或API，实现文件容量对象存储；所述自动适配操作流程如下：a,通过云存储资源选举模块，用于获取上传应用关联的云存储信息，策略包括：轮询选举，随机选举，响应速度选举，指定选举；
b,通过云存储信息，选举适配的第三方云厂商储存SDK或API；
其中，步骤S1中还包括以下操作：对上层业务系统进行鉴权；鉴权根据唯一编号和配置的OSS通道，对上层业务系统进行权限验证，以及允许调用的QPS，每秒请求的速度，鉴权成功可以进行相关的API服务调用；对具有权限的应用，获取第三方云厂商云储存资源连接信息的读取操作，如果读取失败，则报错处理；为了提升数据读取速度，该步骤中增加一个一级缓存；返回连接对象，连接对象包括选择的云服务商标识和云服务商对应的配置。
2.根据权利要求1所述的基于多云对象存储的统一传输方法，其特征在于，步骤S1中，选取第三方云厂商云储存包括以下步骤：S101，获取各云厂商文件容量在上一时间窗口的实际占比；
S102，根据所获得的实际占比和预先设置的各云厂商的文件容量在当前时间窗口的期望占比，对各云厂商文件容量在上一时间窗口的推荐比进行调整，得到各渠道支付容量在当前时间窗口的推荐比；将各云厂商文件容量在当前时间窗口的期望占比分别除以各云厂商文件容量在上一时间窗口的实际占比，再分别乘以各云厂商文件容量在上一时间窗口的推荐比，得到各云厂商文件容量在当前时间窗口的推荐比；设定当前时间窗口为第n个时间窗口，n为正整数，则各云厂商文件容量在上一个时间窗口的实际占比以向量 表示，各云厂商文件容量在当前时间窗口的期望占比用向量 表示，各云厂商文件容量在上一时间窗口和当前时间窗口的推荐比分为 ，这些向量的长度均为云厂商的数量k，该向量中第i个元素代表第i个云厂商，k为正整数，0
S103，根据当前时间窗口的推荐比和指定上层应用选择的云厂商的偏好参数，得到对指定上层应用的云厂商推荐结果；对于每一个云厂商，分别将该云厂商在当前时间窗口的推荐比乘以指定上层应用对所述云厂商的偏好参数，得到指定上层应用对所述云厂商的推荐值；将推荐值最大的云厂商作为对指定上层应用的云厂商推荐结果。
3.根据权利要求2所述的基于多云对象存储的统一传输方法，其特征在于，步骤S2中，上传文件到云存储的处理过程如下：S201,对具有权限的上层应用，将文件流发送给传输组件；
S202, 传输组件根据连接对象，将文件流通过第三方厂商云储存SDK或API，将文件上传到对应的云厂商对象存储；
4.根据权利要求3所述的基于多云对象存储的统一传输方法，其特征在于，步骤S2中，下载文件到本地的处理过程：S301,对具有权限的上层应用，获取对应的连接对象；
S302,通过连接对象选择对应的第三方厂商的云储存SDK或API，判断第三方云存储是否存在此文件；SDK是一系列文件的组合，包括lib、dll、.h、文档、示例；API是对程序而言的，提供用户编程时的接口，即一系列模块化的类和函数；
S303,如果检查存在此文件，则返回授权的下载连接；否则返回空链接。
5.根据权利要求4所述的基于多云对象存储的统一传输方法，其特征在于，步骤S2中，删除云储存中文件的处理过程如下：S401,对具有权限的上层应用，获取对应的连接对象；
S402,通过连接对象选择对应的第三方厂商云储存SDK或API，判断第三方云存储是否存在此文件；
S403,如果检查存在此文件，则删除云储存中此文件，否则不操作。
6.根据权利要求5所述的基于多云对象存储的统一传输方法，其特征在于，还包括，通过云存储资源选取模块，用于获取上传应用关联的云存储信息；通过云存储信息，选取适配的第三方厂商云储存SDK或API。
7.根据权利要求6所述的基于多云对象存储的统一传输方法，其特征在于，权限验证和厂家的链接信息通过动态配置的方式进行录入。
8.根据权利要求7所述的基于多云对象存储的统一传输方法，其特征在于，在上层应用要调用时，能通过分配给上层应用的参数，通过算法，计算出上层应用唯一id使用的是单独的配置，还是使用公共的应用。
9.根据权利要求8所述的基于多云对象存储的统一传输方法，其特征在于，采用多级缓存，新建一个本地链接池，每次请求，先从链接池获取链接，获取失败，就从分布式redis缓存获取，没获取到的情况下则初始化链接。
10.一种基于多云对象存储的统一传输系统，其特征在于，所述系统包括云储存厂商资源连接信息选取模块、云储存操作模块、第三方云储存SDK封装模块，所述系统用于实现根据权利要求1‑9任一项所述的基于多云对象存储的统一传输方法。
一种基于多云对象存储的统一传输方法及系统
技术领域
[0001] 本发明涉及计算机及数据处理技术领域，尤其是涉及一种基于多云对象存储的统一传输方法及系统。
背景技术
[0002] 互联网行业有着大量的数据，原先，这些数据主要存储在DAS，SAN和NAS这三种数据存储的架构中，在很长的一段时间里，这三种架构几乎统治了数据存储市场。所有行业用户的数据存储需求，都是在这三者中进行选择。然而，随着时代的发展，一种新的数据存储形态诞生，它就是云计算时代存储技术的新网红‑‑对象存储，有很多的云厂商，开始把自家的对象存储服务提供给其他企业使用。但是对外提供的都是一种服务。由于各个厂商对外提供服务的标准不一致，在客户选择服务供应商时，选择的目标也不一样。本方案主要是通过自定义配置，针对多云对象存储制定统一的传输组件。
[0003] 本发明涉及一种适配多云存储的统计传输组件，所述的方法包括：1）动态选取第三方云储存厂商连接信息的处理过程，按照市场需求，执行以下步骤：1.上传文件到云储存的处理过程；2.下载文件到本地的处理过程；3.删除云存储中文件的处理过程；所述的传输组件包括云储存厂商资源连接信息的选取模块，云储存的操作模块，第三方云储存SDK封装模块。与现有的技术相比，本发明具有可以有效降低上层应用适配云存储的开发成本等优点。
发明内容
[0004] 针对现有技术存在的问题，本发明的目的在于提供一种基于多云对象存储的统一传输方法和系统，用于自动适配服务商对外的api，实现对象存储，能够有效降低上层应用适配云存储的开发成本。
[0005] 为实现上述目的，本发明提供一种基于多云对象存储的统一传输方法，包括以下步骤：
[0006] S1. 业务系统需要使用对象存储业务时，根据动态配置的数据，根据上层应用唯一id选取第三方云厂商云储存；
[0007] S2.业务系统调用聚合服务API将上传文件到云存储、下载文件到本地和删除云存储中文件的操作指令进行下发；
[0008] S3.传输组件根据第三方云厂商信息和业务系统的下发指令，自动适配第三方云厂商对外的SDK或API，实现对象存储。
[0009] 进一步，步骤S1中，选取第三方云厂商的云储存包括以下步骤：
[0010] S101，获取各厂商文件容量在上一时间窗口的实际占比；
[0011] S102，根据所获得的实际占比和预先设置的各云厂商的文件容量在当前时间窗口的期望占比，对各云厂商文件容量在上一时间窗口的推荐比进行调整，得到各渠道支付容量在当前时间窗口的推荐比；将各云厂商文件容量在当前时间窗口的期望占比分别除以各云厂商文件容量在上一时间窗口的实际占比，再分别乘以各云厂商文件容量在上一时间窗口的推荐比，得到各云厂商文件容量在当前时间窗口的推荐比；设定当前时间窗口为第n个时间窗口，n为正整数，则各云厂商文件容量在上一个时间窗口的实际占比可以以向量表示，各云厂商文件容量在当前时间窗口的期望占比可以用向量 表示，各云厂商文件容量在上一时间窗口和当前时间窗口的推荐比分为 ，这些向量的长度均为云厂商的数量k，该向量中第i个元素代表第i个云厂商，k为正整数，0素相乘后，分别除以 中每一个对应位置的元素，得到Xn；
[0012] S103，根据当前时间窗口的推荐比和指定上层应用选择的云厂商的偏好参数，得到对指定上层应用的云厂商推荐结果；对于每一个云厂商，分别将该云厂商在当前时间窗口的推荐比乘以指定上层应用对该云厂商的偏好参数，得到指定上层应用对该云厂商的推荐值；将推荐值最大的云厂商作为对指定用户的云厂商推荐结果。
[0013] 进一步，步骤S2中，上传文件到云存储的处理过程如下：
[0014] S201,对具有权限的上层应用，将文件流发送给传输组件；
[0015] S202, 传输组件根据连接对象，将文件流通过第三方厂商云储存SDK或API，将文件上传到对应的云厂商对象存储；
[0016] S203,返回对象的OSS存储路径。
[0017] 进一步，步骤S2中，下载文件到本地的处理过程：
[0018] S301,对具有权限的上层应用，获取对应的连接对象；
[0019] S302,通过连接对象选择对应的第三方厂商的云储存SDK或API，判断第三方云存储是否存在此文件；SDK是一系列文件的组合，包括lib、dll、.h、文档、示例等等；API是对程序而言的，提供用户编程时的接口，即一系列模块化的类和函数；
[0020] S303,如果检查存在此文件，则返回授权的下载连接；否则返回空链接。
[0021] 进一步，步骤S2中，删除云储存中文件的处理过程如下：
[0022] S401,对具有权限的上层应用，获取对应的连接对象；
[0023] S402,通过连接对象选择对应的第三方厂商云储存SDK或API，判断第三方云存储是否存在此文件；
[0024] S403,如果检查存在此文件，则删除云储存中此文件，否则不操作进一步，还包括，通过云存储资源选取模块，用于获取上传应用关联的云存储信息；通过云存储信息，选取适配的第三方厂商云储存SDK或API。
[0025] 进一步，权限验证和厂家的链接信息通过动态配置的方式进行录入。
[0026] 进一步，在上层应用要调用时，能通过分配给上层应用的参数，通过算法，计算出上层上层应用唯一id使用的是单独的配置，还是使用公共的应用。
[0027] 进一步，采用多级缓存，新建一个本地链接池，每次请求，先从链接池获取链接，获取失败，就从分布式redis缓存获取，没获取到的情况下则初始化链接。
[0028] 另一方面，本发明还提供一种基于多云对象存储的统一传输系统，所述系统用于实现根据权本发明所述的基于多云对象存储的统一传输方法。
[0029] 根据本发明的方法和系统，能够动态选取第三方云储存厂商连接信息的处理过程，按照市场需求，执行上传文件到云储存的处理过程、下载文件到本地的处理过程和删除云存储中文件的处理过程；所述的系统包括云储存厂商资源连接信息的选取模块，云储存的操作模块，第三方云储存SDK封装模块。与现有的技术相比，本发明具有可以有效降低上层应用适配云存储的开发成本等优点。
附图说明
[0030] 图1示出了根据本发明实施例基于多云对象存储的统一传输方法和系统的结构示意图；
[0031] 图2示出了根据本发明实施例基于多云对象存储的统一传输方法和系统中选取第三方云厂商云存储的流程示意图。
具体实施方式
[0032] 下面将结合附图，对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0033] 在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
[0034] 在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
[0035] 以下结合图1和图2对本发明的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明，并不用于限制本发明。
[0036] 如图1所示，本发明的基于多云对象存储的统一传输系统，能够动态选取第三方云储存厂商连接信息的处理过程，按照市场需求，执行上传文件到云储存的处理过程、下载文件到本地的处理过程和删除云存储中文件的处理过程。所述的系统包括传输组件，传输组件包括云储存厂商资源连接信息选取模块1，云储存操作模块2，第三方云储存SDK3。传输组件将多个上层应用唯一id的文件存储到第三方云厂商云储存中，其中所述上层应用唯一id包括上传业务系统A、B、C、D等，所述第三方云厂商云储存包括云厂商A、云厂商C、云厂商D、云厂商B、云厂商E等。
[0037] 根据本发明的一种基于多云对象存储的统一传输方法，包括以下步骤：
[0038] S1. 业务系统需要使用对象存储业务时，根据动态配置的数据，根据上层应用唯一id选取第三方云厂商的云储存。第三方云厂商的底层实现存在差异性，所述差异性为对外开发的SDK或API接口不一致，包括请求方式，请求参数等。
[0039] S2.业务系统调用聚合服务API将上传文件到云存储、下载文件到本地和删除云存储中文件的操作指令进行下发；聚合服务API对不同的云厂商对外的SDK和API接口进行了封装，对业务系统屏蔽了SDK或API的差异性，聚合服务API提供了一个统一的OSS文件操作API；
[0040] S3.传输组件根据第三方云厂商信息和业务系统的下发指令，自动适配第三方云厂商对外的SDK或API，实现对象存储。
[0041] 其中，步骤S1中，如图2所示，选取第三方云厂商的云储存包括以下步骤：
[0042] 步骤S101，获取各厂商文件容量在上一时间窗口的实际占比。在一个实施例中，时间窗口的长度可以在10分钟到15分钟的范围内。在其他的实施例中，在不同的场景中，可以根据实际情况对时间窗口进行设定，不限于10至15秒的范围。
[0043] 步骤S102，根据所获得的实际占比和预先设置的各云厂商的文件容量在当前时间窗口的期望占比，对各云厂商文件容量在上一时间窗口的推荐比进行调整，得到各渠道支付容量在当前时间窗口的推荐比。
[0044] 步骤S102进一步包括：将各云厂商文件容量在当前时间窗口的期望占比分别除以各云厂商文件容量在上一时间窗口的实际占比，再分别乘以各云厂商文件容量在上一时间窗口的推荐比，得到各云厂商文件容量在当前时间窗口的推荐比。
[0045] 在一个实施例中，假定当前时间窗口为第n个时间窗口，n为正整数，则各云厂商文件容量在上一个时间窗口的实际占比可以以向量 表示，各云厂商文件容量在当前时间窗口的期望占比可以用向量 表示，各云厂商文件容量在上一时间窗口和当前时间窗口的推荐比分为 ，这些向量的长度均为云厂商的数量k，该向量中第i个元素代表第i个云厂商，k为正整数，0该公式表示对于将 和 中每一个对应位置的元素相乘后，分别除以 中每一个
对应位置的元素，得到Xn。
[0046] 步骤S103，根据当前时间窗口的推荐比和指定上层应用选择的云厂商的偏好参数，得到对指定上层应用的云厂商推荐结果。本步骤S103进一步包括：对于每一个云厂商，分别将该云厂商在当前时间窗口的推荐比乘以指定上层应用对该云厂商的偏好参数，得到指定上层应用对该云厂商的推荐值；将推荐值最大的云厂商作为对指定用户的云厂商推荐结果。
[0047] 其中对于步骤S101至步骤S103中部分概念说明如下：
[0048] 时间窗口：指预设长度的一段时间。例如：可以将1分钟按10秒钟的长度依次划分为6个时间窗口。
[0049] 第三方云厂商：即文件存储的服务提供商，例如不同公司开放的OSS云存储服务。在本申请的各实施例中，第三方云厂商也可以简称云厂商。
[0050] 各云厂商文件容量在一个时间窗口的占比：在一个时间窗口中，每一个厂商存储服务被使用的次数占总使用次数的比例。
[0051] 各云厂商文件容量在上一个时间窗口的占比：在上一个时间窗口中，每一个厂商存储服务被使用的次数占总使用次数的比例。
[0052] 各云厂商文件容量在当前时间窗口的期望占比：在当前时间窗口中，每一个厂商服务希望被使用的次数占总使用次数的比例。
[0053] 云厂商偏好参数：反映上层应用可用的云厂商及其使用偏好，例如一个上传应用id总共有A，B，C三种云厂商可用，则可以用[A，B，C] = [0.6，0.3，0.1]来表示上传应用id对这三种云厂商的偏好程度，数值越大代表上层应用越偏好使用对应的偏好程度，该参数由上传应用入驻时确定。
[0054] 步骤S1中还包括以下操作：对上传业务系统进行鉴权；鉴权根据本发明提供的唯一编号和配置的OSS通道，对上层业务系统进行权限验证，以及允许调用的QPS，每秒请求的速度，鉴权成功，可以进行相关的API服务调用。对具有权限的应用，获取第三方厂商云储存资源连接信息的读取操作，如果读取失败，则报错处理；为了提升数据读取速度，该步骤中增加一个一级缓存。返回连接对象，连接对象包括选择的云服务商标识，云服务商对应的配置信息。
[0055] 步骤S2中，上传文件到云存储的处理过程如下：
[0056] S201,对具有权限的上层应用，将文件发送给传输组件；
[0057] S202, 传输组件根据连接对象，将文件通过第三方厂商云储存SDK或API，将文件上传到对应的云厂商对象存储；
[0058] S203,返回对象的OSS存储路径；OSS（即Object Storage Service）是一种提供海量、安全、低成本、高可靠的云存储服务，适合存放任意类型的文件。容量和处理能力弹性扩展，多种存储类型供选择，全面优化存储成本。
[0059] 步骤S2中，下载文件到本地的处理过程：
[0060] S301,对具有权限的上层应用，获取对应的连接对象；
[0061] S302,通过连接对象选择对应的第三方厂商云储存SDK或API，判断第三方云存储是否存在此文件；SDK是一系列文件的组合，包括lib、dll、.h、文档、示例等等；API是对程序而言的，提供用户编程时的接口，即一系列模块化的类和函数。
[0062] S303,如果检查存在此文件，则返回授权的下载连接；否则返回空链接。
[0063] 步骤S2中，删除云储存中文件的处理过程如下：
[0064] S401,对具有权限的上层应用，获取对应的连接对象；
[0065] S402,通过连接对象选择对应的第三方厂商云储存SDK或API，判断第三方云存储是否存在此文件；
[0066] S403,如果检查存在此文件，则删除云储存中此文件，否则不操作；
[0067] 本方法和系统主要的操作合集如下：
[0068] a)通过云存储资源选举模块，用于获取上传应用关联的云存储信息；
[0069] i.策略包括：轮询选举，随机选举，响应速度选举，指定选举
[0070] ii.选举策略是根据在应用中配置的选举策略为准备。
[0071] b)通过云存储信息，选举适配的第三方云厂商储存SDK或API；
[0072] i.通过选举策略后，得到了目标的第三方云厂商，然后根据第三方的厂商，找到对应的SDK或API，业务系统在请求时，本发明可以根据连接对象中的第三方云厂商配置信息，找到具体的实现模块，该功能，如果在本发明中，需要增加新的第三方云厂商，只需要实现本发明抽象出的抽象类，实现抽象类后，通过策略模式，可以进行对应功能的实现。
[0073] c)命令操作合集
[0074] i.创建bucket；
[0075] ii.删除bucket；
[0076] iii.是否存在bucket；
[0077] iv.复制文件；
[0078] v.获取文件信息；
[0079] vi.获取文件地址
[0080] vii.上传文件
[0081] viii.删除文件
[0082] 本发明通过基于不同厂商的连接信息，适配不同厂商的api或SDK，实现对上层应用提供统一的对象存储调用指令，降低上层应用的开发复杂性，屏蔽底层云厂商之间的差异性，降低开发成本。
[0083] 其中，初始化链接代码如下：
[0084] 说明：初始化的代码用在鉴权时使用，权限鉴定成功后，返回连接对象OssTemplate给业务系统
[0085]
[0086]
[0087] 本发明通过屏蔽不同厂商云服务SDK或API的差异性和权限验证功能，为上层应用提供统一的对象储存服务，从而降低上层应用的开发成本。
[0088] 各个厂商的差异性主要包括：连接的配置信息不一致，
[0089] 权限验证和厂家的链接信息可以通过动态配置的方式进行录入；
[0090] 后续可以根据上层应用需求，动态的增加新的云存储厂商，让上层应用不需要关心底层的服务提供商，只需要关心自身的业务逻辑。
[0091] 本发明根据多个云厂商，包括云厂商C，云厂商A，云厂商D，云厂商B，云厂商E，提取出包括单不限于以下功能：创建bucket（存放文件的桶），删除bucket，判断bucket是否存在，拷贝文件，文件上传(文件，流，路径）等，每个厂商在根据功能进行配置，在实现功能之前，需要对连接对象进行动态初始化；
[0092] 每个厂商的配置文件都各不相同，参数的个数也不相同，相同厂商，也可能会出现不同参数的情况，本发明不通厂商的参数通过冗余共存的方式，将配置参数根据分配的编号，厂商等保存在数据库中。在上层应用要调用时，能通过分配给上层应用的参数，通过选举策略得出上层应用使用的是单独的应用配置，还是使用公共的上层应用唯一id应用。
[0093] 参数包括：资源地址，accessKey，secretKey，空间名，应用ID，地域简称等。
[0094] 同时，为了提高链接信息的复用率，提升本发明的响应效率，本发明采用多级缓存，新建一个本地链接池，每次请求，先从链接池获取链接，获取失败，就从分布式redis缓存获取，如果依然没获取到，就初始化链接。
[0095] 每个厂商实现统一对外定义的服务，在通过各自的SDK和API，配合已经初始化的链接信息，实现多云的传输组件。
[0096] 在增加新的厂商信息时，只需要引入新的连接对象信息，如果信息跟已有的信息类似，则可以进行数据的属性的复用、通过实现本发明统一对外的抽象接口，针对新的厂商，实现厂商的云存储相关操作，实现一次对接，永久使用。而上层服务无需修改对接代码，只需更改需要使用的厂商编号，就可以实现云存储无缝切换。
[0097] 在本说明书的描述中，参考术语“实施例”、“示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。此外，本领域的技术人员可以在不产生矛盾的情况下，将本说明书中描述的不同实施例或示例以及其中的特征进行结合或组合。
[0098] 上述内容虽然已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型等更新操作。
