Kubernetes环境下的磁盘管理系统

摘要

本申请涉及一种Kubernetes环境下的磁盘管理系统，属于云计算技术领域，其包括调度器将创建的容器与节点绑定；控制器模块监听PVC创建、PVC与csi‑driver一致选出符合条件的磁盘组信息，创建LogicVolume对象；节点模块检查本地磁盘是否满足条件并开始创建磁盘分区；控制器模块监听PVC更新、PVC与csi‑driver一致更新LogicVolume对象；节点模块检查本地磁盘是否满足条件并开始更新磁盘分区容量并扩容文件系统；控制器模块监听PVC删除、PVC与csi‑driver一致删除LogicVolume对象；节点模块卸载本地对应的磁盘并清理分区。

权利要求

1.一种Kubernetes环境下的磁盘管理系统，其特征在于，所述系统包括：调度器，用于在Kubernetes集群中创建PVC和部署物后，发现新创建的所述部署物以及所述PVC申请的磁盘容量空间大小，并进行调度分配节点；将创建的容器与所述节点绑定，为所述PVC增加注解和节点选择标签；

控制器模块，用于监听所述PVC创建，并在发现所述PVC与csi‑driver一致的情况下，检查节点本地磁盘组和磁盘组容量，以过滤不符合容量的磁盘和独占磁盘，并选出符合条件的磁盘组信息，创建LogicVolume对象；

节点模块，用于监听所述LogicVolume对象的创建事件后，检查本地磁盘是否满足条件并开始创建磁盘分区；所述节点模块具体用于根据所述LogicVolume对象开始在磁盘上创建分区，并且将所述分区挂载到容器内部；

所述控制器模块，还用于监听所述PVC更新，并在发现所述PVC与csi‑driver 一致的情况下，检查节点本地磁盘是否是独占磁盘，过滤独占磁盘后，更新所述LogicVolume对象；

所述节点模块，还用于监听所述LogicVolume对象的更新事件后，检查本地磁盘是否满足条件并开始更新磁盘分区容量并扩容文件系统；

所述控制器模块，还用于监听所述PVC删除，并在发现所述PVC与csi‑driver 一致的情况下，检查节点本地磁盘组和磁盘组容量，删除所述LogicVolume对象；

所述节点模块，还用于监听所述LogicVolume对象的删除事件后，卸载本地对应的磁盘并清理分区。

2.根据权利要求1所述的系统，其特征在于，所述系统在程序部署完成后，根据配置参数检查本地磁盘，将满足条件的磁盘纳管进来；并在所述Kubernetes集群中创建对应每个节点信息的资源对象来显示本地磁盘组容量和可用容量，以及对应得磁盘信息和分区信息。

3.根据权利要求2所述的系统，其特征在于，所述调度器，用于在节点模块对应的资源对象创建后，开始创建申请存储资源请求；创建容器使用申请的存储资源对象，在所述Kubernetes集群中创建完容器后，根据所述资源对象过滤不符合要求的节点，找出满足的节点与所述容器进行绑定。

4.根据权利要求3所述的系统，其特征在于，所述调度器根据参数配置包括两种模式，分别为：等待消费才调度和立即调度。

5.根据权利要求1所述的系统，其特征在于，所述控制器模块，用于：

在完成节点调度后，根据用户配置参数确定需要筛选的卷组；

在确定出使用裸盘raw提供存储的情况下，在对应节点上按照磁盘实际容量和是否是独占磁盘进行筛选过滤；所述独占磁盘是只有一个容器使用的磁盘，且所述独占磁盘不与其他容器分享整块磁盘的容量；

在是独占磁盘的情况下，过滤有分区的磁盘，过滤非用户选择的磁盘，筛选出多块满足的磁盘里选择最小满足的磁盘；创建所述LogicVolume对象来记录磁盘信息；

在不是独占磁盘的情况下，筛选用户选择的磁盘组里的可用资空间大于请求资源的空盘和有分区磁盘；根据容量满足选择最小匹配的磁盘并创建LogicVolume对象来记录磁盘信息。

6.根据权利要求1所述的系统，其特征在于，

所述控制器模块，用于如果获取到扩容资源申请，对扩容行为进行甄别；以确定是否是独占磁盘；

所述节点模块，用于在是独占磁盘的情况下，开始扩容分区对现有挂载卷卸载，扩容成功后在挂载然后对文件系统扩容。

7.根据权利要求1所述的系统，其特征在于，

所述控制器模块，用于如果获取到删除资源申请，则对挂载分区卷卸载，并且删除对应的所述LogicVolume对象；

所述节点模块，用于通过定时协调程序清理分区。

说明书

Kubernetes环境下的磁盘管理系统

技术领域

[0001] 本申请涉及一种Kubernetes环境下的磁盘管理系统，属于云计算技术领域。

背景技术

[0002] Kubernetes是一个开源的容器编排引擎，它支持自动化部署、大规模可伸缩、应用容器化管理。Kubernetes只要提供一个标准的接口，就能为同样满足该协议的所有容器平台提供网络功能。

[0003] 目前Kubernetes环境下提供持久化存储支持的大多数都是网络存储。然而，网络存储在性能上较本地存储有一些不足，对中间件数据库这种业务无法满足性能要求。

发明内容

[0004] 本申请提供了一种Kubernetes环境下的磁盘管理系统，可以解决用户在Kubernetes环境下管理本地磁盘分区能力不足的问题，用户无需自己创建分区，扩容分区以及删除分区。同时，为高性能业务场景提供了直接使用裸盘的功能。本申请提供如下技术方案：提供一种Kubernetes环境下的磁盘管理系统，所述系统包括：

[0005] 调度器，用于在Kubernetes集群中创建PVC和部署物后，发现新创建的所述部署物以及所述PVC申请的磁盘容量空间大小，并进行调度分配节点；将创建的容器与所述节点绑定，为所述PVC增加注解和节点选择标签；

[0006] 控制器模块，用于监听所述PVC创建，并在发现所述PVC与csi‑driver一致的情况下，检查节点本地磁盘组和磁盘组容量，以过滤不符合容量的磁盘和独占磁盘，并选出符合条件的磁盘组信息，创建LogicVolume对象；

[0007] 节点模块，用于监听所述LogicVolume对象的创建事件后，检查本地磁盘是否满足条件并开始创建磁盘分区；所述节点模块具体用于根据所述LogicVolume对象开始在磁盘上创建分区，并且将所述分区挂载到容器内部；

[0008] 所述控制器模块，还用于监听所述PVC更新，并在发现所述PVC与csi‑driver一致的情况下，检查节点本地磁盘是否是独占磁盘，过滤独占磁盘后，更新所述LogicVolume对象；

[0009] 所述节点模块，还用于监听所述LogicVolume对象的更新事件后，检查本地磁盘是否满足条件并开始更新磁盘分区容量并扩容文件系统；

[0010] 所述控制器模块，还用于监听所述PVC删除，并在发现所述PVC与csi‑driver一致的情况下，检查节点本地磁盘组和磁盘组容量，删除所述LogicVolume对象；

[0011] 所述节点模块，还用于监听所述LogicVolume对象的删除事件后，卸载本地对应的磁盘并清理分区。

[0012] 可选地，所述系统在程序部署完成后，根据配置参数检查本地磁盘，将满足条件的磁盘纳管进来；并在所述Kubernetes集群中创建对应每个节点信息的资源对象来显示本地磁盘组容量和可用容量，以及对应得磁盘信息和分区信息。

[0013] 可选地，所述调度器，用于在节点对应的资源对象创建后，开始创建申请存储资源请求；创建容器使用申请的存储资源对象，在所述Kubernetes集群中创建完容器后，根据所述资源对象过滤不符合要求的节点，找出满足的节点与所述容器进行绑定。

[0014] 可选地，所述调度器根据参数配置包括两种模式，分别为：等待消费才调度和立即调度。

[0015] 可选地，所述控制器模块，用于：

[0016] 在完成节点调度后，根据用户配置参数确定需要筛选的卷组；

[0017] 在确定出使用裸盘raw提供存储的情况下，在对应节点上按照磁盘实际容量和是否是独占磁盘进行筛选过滤；所述独占磁盘是只有一个容器使用的磁盘，且所述独占磁盘不与其他容器分享整块磁盘的容量；

[0018] 在是独占磁盘的情况下，过滤有分区的磁盘，过滤非用户选择的磁盘，筛选出多块满足的磁盘里选择最小满足的磁盘；创建所述LogicVolume对象来记录磁盘信息；

[0019] 在不是独占磁盘的情况下，筛选用户选择的磁盘组里的可用资空间大于请求资源的空盘和有分区磁盘；根据容量满足选择最小匹配的磁盘并创建LogicVolume对象来记录磁盘信息。

[0020] 可选地，所述控制器模块，用于如果获取到扩容资源申请，对扩容行为进行甄别；以确定是否是独占磁盘；

[0021] 所述节点模块，用于在是独占磁盘的情况下，开始扩容分区对现有挂载卷卸载，扩容成功后在挂载然后对文件系统扩容。

[0022] 可选地，其特征在于，所述控制器模块，用于如果获取到删除资源申请，则对挂载分区卷卸载，并且删除对应的所述LogicVolume对象；

[0023] 所述节点模块，用于通过定时协调程序清理分区。

[0024] 本申请的有益效果至少包括：通过调度器在Kubernetes集群中创建PVC和部署物后，发现新创建的部署物以及PVC申请的磁盘容量空间大小，并进行调度分配节点；将创建的容器与节点绑定，为PVC增加注解和节点选择标签；控制器模块监听PVC创建，并在发现PVC与csi‑driver一致的情况下，检查节点本地磁盘组和磁盘组容量，以过滤不符合容量的磁盘和独占磁盘，并选出符合条件的磁盘组信息，创建LogicVolume对象；节点模块监听LogicVolume对象的创建事件后，检查本地磁盘是否满足条件并开始创建磁盘分区；控制器模块监听PVC更新，并在发现PVC与csi‑driver一致的情况下，检查节点本地磁盘是否是独占磁盘，过滤独占磁盘后，更新LogicVolume对象；节点模块监听LogicVolume对象的更新事件后，检查本地磁盘是否满足条件并开始更新磁盘分区容量并扩容文件系统；控制器模块监听PVC删除，并在发现PVC与csi‑driver一致的情况下，检查节点本地磁盘组和磁盘组容量，删除LogicVolume对象；节点模块监听LogicVolume对象的删除事件后，卸载本地对应的磁盘并清理分区；可以解决网络存储对中间件数据库无法满足性能要求的问题；可以使用管理本地磁盘，并基于本地磁盘分区直接挂载到容器中使用，为中间件数据库业务和对磁盘读写密集型的业务提供了稳定可靠的保障。同时，可以解决用户在Kubernetes环境下管理本地磁盘分区的能力不足的问题，用户无需自己创建分区，扩容分区以及删除分区。同时，为高性能业务场景提供了直接使用裸盘的功能。

[0025] 上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，并可依照说明书的内容予以实施，以下以本申请的较佳实施例并配合附图详细说明如后。

附图说明

[0026] 图1是本申请一个实施例提供的Kubernetes环境下的磁盘管理系统的结构示意图；

[0027] 图2A是本申请一个实施例提供的Kubernetes环境下的创建卷的流程图；

[0028] 图2B是本申请一个实施例提供的Kubernetes环境下的磁盘创建的流程图；

[0029] 图2C是本申请一个实施例提供的Kubernetes环境下的磁盘更新的流程图；

[0030] 图2D是本申请一个实施例提供的Kubernetes环境下的磁盘删除的流程图；

[0031] 图3是本申请一个实施例提供的磁盘分区选择流程；

[0032] 图4是本申请另一个实施例提供的磁盘分区选择流程。

具体实施方式

[0033] 下面结合附图和实施例，对本申请的具体实施方式做进一步详细描述。以下实施例用于说明本申请，但不用来限制本申请的范围。

[0034] 首先，对于本申请涉及的若干名词进行介绍。

[0035] 容器调度服务(Kubernetes)：简称K8s，是用8代替名字中间的8个字符“Kubernete”而成的缩写。Kubernetes是一个开源的容器编排引擎，它支持自动化部署、大规模可伸缩、应用容器化管理。在生产环境中部署一个应用程序时，通常要部署该应用程序的多个实例以便对应用请求进行负载均衡。在Kubernetes中，可以创建多个容器，每个容器里面运行一个应用实例，然后通过内置的负载均衡策略，实现对这一组应用实例的管理、发现、访问。

[0036] Kubernetes是负责管理及调度容器服务。目前云计算领域进行容器调度及管理的事实标准调度器(Scheduler)是Kubernetes的一个组件，主要负责进行Pod的调度。

[0037] Kubelet：Kubernetes的核心组件，是Kubernetes工作节点上的一个代理组件，运行在每个节点上。Kubelet定期从kube‑apiserver组件接收新的或修改的Pod规范，并确保Pod及其容器在期望规范下运行。同时该组件作为工作节点的监控组件，向kube‑apiserver汇报主机的运行状况。换言之，Kubelet负责每个节点的运行状态(即确保节点上的所有容器都正常运行)。它按照控制面板的指示来处理启动，停止和维护应用程序容器Pod。

[0038] 其中，kube‑apiserver组件提供了k8s各类资源对象(容器集(Pod)、复制控制器(Replication Controller，RC)、服务(Service)等)的增删改查及监控(watch)等HTTP Rest接口，是整个系统的数据总线和数据中心。

[0039] 容器集(Pod)：是Kubernetes管理的最小单元，多个容器组合在一起叫做Pod。

[0040] 存储卷(Volume)：容器在服务器中是无状态的，需要挂载存储卷将数据保存到本地磁盘。

[0041] Configmap:是一种API对象，用来将非机密性的数据保存到键值对中。

[0042] DaemonSet：是一种API对象，确保全部(或者某些)节点上运行一个Pod的副本。

[0043] Carina(carina)：在Kubernetes集群中为Pod提供存储卷的项目。

[0044] 逻辑卷管理(Logical Volume Manager，LVM)：是Linux环境下对磁盘分区进行管理的一种机制，LVM是建立在硬盘和分区之上的一个逻辑层，来提高磁盘分区管理的灵活性。

[0045] 磁盘:是计算机上的存储介质。

[0046] Raw：用于区别于LVM方式，使用物理磁盘分区直接存储的类型定义。

[0047] 分区：将一个磁盘逻辑分为几个区，每个区当作独立硬盘使用，以方便管理节点：组成Kubernetes集群的物理主机。

[0048] 逻辑卷(LogicVolume):在Kubernetes环境中自定义的一种资源对象，用来记录申请的存储资源信息。

[0049] NodeStorageResource:在Kubernetes环境中自定义的一种资源对象，用来记录节点磁盘信息。

[0050] csi‑driver:一种在Kubernetes环境中容器存储接口(Container Storage Interface，CSI)插件的资源对象，用来实现自定义插件。

[0051] 控制器模块:程序中应用程序控制服务。

[0052] 节点模块:运行在每个节点上的应用程序的服务。

[0053] 部署物(Deployment)：是一种Pod控制器(有很多种控制器)，是一种无状态服务(可以部署web微服务)，具有上线部署，滚动升级、创建副本、回滚到以前某一版本(成功/稳定)等功能。

[0054] PersistentVolume(PV):在Kubernetes中创建的存储卷信息。对底层网络共享存储的抽象，将共享存储定义为一种资源。PV是集群中由管理员配置的一段网络存储。它是集群中的资源，就像节点是集群资源一样。PV是容量插件，如Volumes，但其生命周期独立于使用PV的任何单个Pod。此API对象捕获存储实现的详细信息，包括网络文件系统(Network File System，NFS)，Internet小型计算机系统接口(Internet Small Computer System Interface，iSCSI)或特定于云提供程序的存储系统。

[0055] PersistentVolumeClaim(PVC)：在Kubernetes中创建存储卷，需要创建PVC资源申请。是由用户进行存储的请求。它类似于Pod。Pod消耗节点资源，PVC消耗PV资源。Pod可以请求特定级别的资源(CPU和内存)。声明可以请求特定的大小和访问模式(例如，可以一次读/写或多次只读)。

[0056] StorageClass：用于标记存储资源的特性和性能。StorageClass为管理员提供了一种描述他们提供的存储的“类”的方法。不同的类可能映射到服务质量级别，或备份策略，或者由群集管理员确定的任意策略。Kubernetes本身对于什么类别代表是不言而喻的。这个概念有时在其他存储系统中称为“配置文件”。

[0057] 图1是本申请一个实施例提供的Kubernetes环境下的磁盘管理系统的结构示意图，该系统包括：调度器110、控制器模块120和节点模块130。

[0058] Kubernetes系统在程序部署完成后，根据配置参数检查本地磁盘，将满足条件的磁盘纳管进来；并在Kubernetes集群中创建对应每个节点信息的资源对象(具体为nodestorageresource(自定义资源对象))来显示本地磁盘组容量和可用容量，以及对应的磁盘信息和分区信息。在纳管磁盘时，用户可以配置各个卷组的类型，即该卷组是使用LVM容量还是裸盘分区容量。

[0059] 本申请中，在Kubernetes集群中，先创建一个PVC来申请磁盘容量空间(如申请10G的磁盘容量空间，具体的空间大小可根据实际使用需求增大或缩小，本实施例不对存储空间的大小作限定)，创建一个部署物(Deployment)。

[0060] 其中，在创建deployment时，首先会先创建它对应的Pod，用户输入的脚本会通过Kubernetes的命令行工具中的kubectl发送到Kubernetes的api‑server，然后将脚本存储进etcd中，再通过调度器110选择合适的node节点进行Pod的部署。scheduler选择好合适的node之后，将调度的节点信息再通过api‑server保存到etcd中，最后node上的kubelet根据脚本进行Pod的容器启动，完成创建启动一个deployment的过程。

[0061] 具体地，调度器110用于在Kubernetes集群中创建PVC和部署物后，发现新创建的部署物以及PVC申请的磁盘容量空间大小，并进行调度分配节点；将创建的容器与节点绑定，为PVC增加注解和节点选择标签。

[0062] 具体地，调度器用于在节点对应的资源对象创建后，开始创建申请存储资源请求；创建容器使用申请的存储资源对象，在Kubernetes集群中创建完容器后，根据资源对象过滤不符合要求的节点，找出满足的节点与容器进行绑定。

[0063] 具体地，参考图2A，调度器根据资源对象过滤不符合要求的节点，包括：根据类型判断使用LVM容量还是裸盘分区容量；若使用裸盘分区容量则获取裸盘存储容量信息；过滤不符合存储容量要求和独占磁盘的节点；给过滤后的节点评分；对评分结果应用用户评分策略。相应地，节点模块用于：查找节点磁盘；检查分区和磁盘剩余容量，并根据检查结果更新磁盘信息。

[0064] 其中，用户期望使用的卷组可以通过StorageClass对象配置，每个卷组是使用LVM容量还是使用裸盘分区容量在纳管磁盘时由用户配置得到，基于此，用户期望使用的卷组的类型可以从预先配置的磁盘信息中得到。

[0065] 之后，调度器向Pod返回调度结果，并为PVC增加注解和节点选择标签。

[0066] 其中，调度器在调度节点时根据参数配置包括两种模式，分别为：等待消费才调度和立即调度。

[0067] 其中，立即调度是指调度器立即调用PV创建逻辑，无需等待Pod调度。具体地，立即调度参考图3所示的调度过程，调度器在创建PVC后立即调用PV创建逻辑。

[0068] 等待消费才调度是指等待Pod调度到Node成功后再进行PV创建。具体地，等待消费才调度参考图4所示的调度过程，调度器在Pod调度到Node成功后调用PV创建逻辑。

[0069] 参考图2A，控制器模块，用于监听PVC创建，并在发现PVC与csi‑driver一致的情况下，检查节点本地磁盘组和磁盘组容量，以过滤不符合容量的磁盘和独占磁盘，并选出符合条件的磁盘组信息，创建LogicVolume对象。

[0070] 参考图2B，节点模块，用于监听LogicVolume对象的创建事件后，检查本地磁盘是否满足条件并开始创建磁盘分区。

[0071] 具体地，控制器模块在完成节点调度后(即容器和申请的资源请求有了节点信息后)，根据用户配置参数确定需要筛选的卷组；在确定出使用裸盘raw提供存储的情况下，在对应节点上按照磁盘实际容量和是否是独占磁盘进行筛选过滤；独占磁盘是只有一个容器使用的磁盘，且独占磁盘不与其他容器分享整块磁盘的容量；在是独占磁盘的情况下，过滤有分区的磁盘，过滤非用户选择的磁盘，筛选出多块满足的磁盘里选择最小满足的磁盘；创建LogicVolume对象(自定义资源对象)来记录磁盘信息；在不是独占磁盘的情况下，筛选用户选择的磁盘组里的可用资空间大于请求资源的空盘和有分区磁盘；根据容量满足选择最小匹配的磁盘并创建LogicVolume对象来记录磁盘信息。

[0072] 相应地，节点模块用于根据LogicVolume对象开始在磁盘上创建分区，并且将分区挂载到容器内部。

[0073] 具体地，节点模块获取分区设备号，挂载卷到对应分区设备号对应的分区设备地址。

[0074] 参考图2C，控制器模块，还用于监听PVC更新，并在发现PVC与csi‑driver一致的情况下，检查节点本地磁盘是否是独占磁盘，过滤独占磁盘后，更新LogicVolume对象。

[0075] 节点模块，还用于监听LogicVolume对象的更新事件后，检查本地磁盘是否满足条件并开始更新磁盘分区容量并扩容文件系统。

[0076] 具体地，控制器模块如果获取到扩容资源申请(即监听到PVC扩容事件)，对扩容行为进行甄别；以确定是否是独占磁盘。

[0077] 相应地，节点模块在是独占磁盘的情况下，开始扩容分区对现有挂载卷卸载，扩容成功后在挂载然后对文件系统扩容。

[0078] 参考图2D，控制器模块还用于监听PVC删除事件，并在发现PVC与csi‑driver一致的情况下，检查节点本地磁盘组和磁盘组容量，删除LogicVolume对象。

[0079] 节点模块，还用于监听LogicVolume对象的删除事件后，卸载本地对应的磁盘并清理分区。

[0080] 具体地，控制器模块，用于如果获取到删除资源申请，则对挂载分区卷卸载，并且删除对应的LogicVolume对象。

[0081] 相应地，节点模块，用于通过定时协调程序清理分区。

[0082] 综上所述，本实施例提供的Kubernetes环境下的磁盘管理系统，通过调度器在Kubernetes集群中创建PVC和部署物后，发现新创建的部署物以及PVC申请的磁盘容量空间大小，并进行调度分配节点；将创建的容器与节点绑定，为PVC增加注解和节点选择标签；控制器模块监听PVC创建，并在发现PVC与csi‑driver一致的情况下，检查节点本地磁盘组和磁盘组容量，以过滤不符合容量的磁盘和独占磁盘，并选出符合条件的磁盘组信息，创建LogicVolume对象；节点模块监听LogicVolume对象的创建事件后，检查本地磁盘是否满足条件并开始创建磁盘分区；控制器模块监听PVC更新，并在发现PVC与csi‑driver一致的情况下，检查节点本地磁盘是否是独占磁盘，过滤独占磁盘后，更新LogicVolume对象；节点模块监听LogicVolume对象的更新事件后，检查本地磁盘是否满足条件并开始更新磁盘分区容量并扩容文件系统；控制器模块监听PVC删除，并在发现PVC与csi‑driver一致的情况下，检查节点本地磁盘组和磁盘组容量，删除LogicVolume对象；节点模块监听LogicVolume对象的删除事件后，卸载本地对应的磁盘并清理分区；可以解决网络存储对中间件数据库无法满足性能要求的问题；可以使用管理本地磁盘，并基于本地磁盘分区直接挂载到容器中使用，为中间件数据库业务和对磁盘读写密集型的业务提供了稳定可靠的保障。同时，可以解决用户在Kubernetes环境下管理本地磁盘分区的能力不足的问题，用户无需自己创建分区，扩容分区以及删除分区。同时，为高性能业务场景提供了直接使用裸盘的功能。

[0083] 以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

[0084] 以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。