一种I/O均衡的数据扩容迁移方法

摘要

一种I/O均衡的数据扩容迁移方法，涉及计算机领域，其由十二个步骤完成。本发明的有益效果在于：本发明实现了最热的I/O数据块均能均匀的分布于所有存储节点中，实现了低的I/O数据迁移量；实现了最佳的用户体验，即快I/O用户响应时间。

权利要求

1.一种I/O均衡的数据扩容迁移方法，其特征在于：包括以下步骤：第一步：初始化存储节点，获取现有存储系统运行参数，节点个数、用户数据容量和存储系统生命周期参数，并将存储节点各数据块平均每天的存取次数清零；

第二步：监测存储容量变化，监测现有存储系统容量变化情况，并获取用户数据量以及现有存储系统剩余空闲存储容量；

第三步：统计存储节点中各数据块每天的I/O访问次数，并计算现有平均每天的I/O存取次数；

第四步：是否数据扩容，根据第二步，监测现有存储系统容量变化情况，确定存储系统是否需要实施扩容，如果用户数据量达到总存储容量的90%则执行下一步骤实施数据扩容，否则返回步骤第二步继续监测存储容量变化情况；

第五步：根据总用户数据量，确定在扩容过程中所需加入新磁盘个数，现有数据在扩容后的新存储系统中所占的容量比例40%～50%；

第六步：根据确定的加入新磁盘个数，装载新加入的磁盘；

第七步：根据数据块的平均每天I/O存取次数，选前30%的数据块为最热数据块；

第八步：根据确定的最热数据块数，计算其在现有各存储节点中平均块个数，每节点中超过平均值的最热数据块则确定为待迁移数据块；

第九步：根据待迁移数据块，计算单个块迁移过程中未迁移数据块的访问频次；具体操作为：根据确定的存储节点中待迁移数据块，计算每个数据块迁移过程中未迁移数据块的访问频次；

第十步：优先移动访问频次最高的未迁移数据块到新磁盘中，具体操作为：根据单个数据块迁移过程中计算的未迁移数据块的访问频次，优先移动访问频次最高的未迁移数据块到新磁盘中；

第十一步：数据是否迁移完，具体操作为：根据待迁移的数据块数，如果待迁移数据块移动完成则执行下一步骤，否则返回步骤第九步继续移动待迁移数据块；

第十二步：监测存储系统生命周期是否结束，如果结束则完成，否则返回第一步继续监测存储系统的扩容迁移。

说明书

一种I/O均衡的数据扩容迁移方法

技术领域

[0001] 本发明属于计算机网络与计算机存储领域，更具体地涉及一种I/O均衡的数据扩容迁移方法。

背景技术

[0002] 随着网络技术在社会各行各业中的深度融合与发展，企业数据中心存储系统面临海量数据存储的需求，因而现有存储系统的容量不能满足日益增长的数据规模对容量提出的更高要求，为了提升数据中心存储系统的容量，扩充现有存储系统的容量空间是必须采用的技术，即扩容技术。在存储集群数据扩容的过程中，现有的扩容策略主要考虑新旧各磁盘总数据块个数的均衡分布而实施的数据迁移策略，即简单地将所有数据块均匀的分布于扩容后的新存储系统中。

[0003] 然而，在真实的企业级数据中心，数据访问存在局部性特征，因而即使数据量在各磁盘均衡布局也不能确保存储系统用户I/O访问的均衡性，不均衡的I/O存取将会严重地影响存储系统的读写性能。

发明内容

[0004] 针对上述技术问题本发明提供了一种I/O均衡的数据扩容迁移方法，该方法在RAID0的扩容过程之后，能够实现I/O数据块的均匀布局，低的I/O数据迁移量，并实现了快速的用户响应时间。本发明是通过以下技术方案实现的。

[0005] 一种I/O均衡的数据扩容迁移方法，包括以下步骤：

[0006] 第一步：初始化存储节点，获取现有存储系统运行参数，节点个数、用户数据容量和存储系统生命周期参数，并将存储节点各数据块平均每天的存取次数清零；

[0007] 第二步：监测存储容量变化，监测现有存储系统容量变化情况，并获取用户数据量以及现有存储系统剩余空闲存储容量；

[0008] 第三步：统计存储节点中各数据块每天的I/O访问次数，并计算现有平均每天的I/O存取次数；

[0009] 第四步：是否数据扩容，根据第二步，监测现有存储系统容量变化情况，确定存储系统是否需要实施扩容，如果用户数据量达到总存储容量的90%则执行下一步骤实施数据扩容，否则返回步骤第二步继续监测存储容量变化情况；

[0010] 第五步：根据总用户数据量，确定在扩容过程中所需加入新磁盘个数，现有数据在扩容后的新存储系统中所占的容量比例40%～50%，；

[0011] 第六步：装载新加入的磁盘，根据确定的加入新磁盘个数；

[0012] 第七步：根据数据块的平均每天I/O存取次数，选前30%的数据块为最热数据块；

[0013] 第八步：根据确定的最热数据块数，计算其在现有各存储节点中平均块个数，每节点中超过平均值的最热数据块则确定为待迁移数据块；

[0014] 第九步：根据待迁移数据块，计算单个块迁移过程中未迁移数据块的访问频次；根据确定的存储节点中待迁移数据块，计算每个数据块迁移过程中未迁移数据块的访问频次；

[0015] 第十步：优先移动访问频次最高的未迁移数据块到新磁盘中，根据单个数据块迁移过程中计算的未迁移数据块的访问频次，优先移动访问频次最高的未迁移数据块到新磁盘中；

[0016] 第十一步：数据是否迁移完，根据待迁移的数据块数，如果待迁移数据块移动完成则执行下一步骤，否则返回步骤第九步继续移动待迁移数据块；

[0017] 第十二步：监测存储系统生命周期是否结束，如果结束则完成，否则返回第一步继续监测存储系统的扩容迁移。

[0018] 本发明公开了一种I/O均衡的数据扩容迁移方法，其基本原理如图2所示，存储系统实施数据迁移之前，旧磁盘存储节点中存储有用户数据，根据各I/O用户数据块的每天平均访问次数，分别把数据块分为热数据（红色块）和冷数据（白色块），其中热数据块为每天用户访问频次最高的数据块，因而系统的I/O访问大部分都集中到了对热数据块的访问，因此本发明的基本思想就是仅仅迁移旧磁盘中热数据块，使其热数据块均匀的分布于扩容后的所有存储节点中，并且在数据迁移的过程中优先迁移用户最近访问频次最高的数据块，从而实现了热数据块I/O的均匀布局和良好的用户响应。

[0019] 本发明具有如下有益效果：

[0020] （1）I/O均匀的数据布局：由于存储系统存在用户I/O访问的时间局部性和空间局部性，通过统计每个数据块平均每天I/O访问的频次，选其前部分频繁访问的数据块作为待迁移的数据块，扩容后使其均匀的分布于各存储节点，本发明实现了最热的I/O数据块均能均匀的分布于所有存储节点中；

[0021] （2）低的I/O数据迁移量：在数据扩容的过程中，仅仅选择了最频繁存取的部分数据块作为待迁移的数据块，因此本发明实现了低的I/O数据迁移量；

[0022] （3）快I/O用户响应时间：在数据迁移的过程中，每迁移一个数据块期间，分别统计了各待迁移数据块的平均访问次数，在每次迁移时，都只迁移I/O用户访问频次最高的数据块，因而本发明实现了最佳的用户体验，即快I/O用户响应时间。

附图说明

[0023] 图1为本发明一种I/O均衡的数据扩容迁移方法流程图。

[0024] 图2为本发明一种I/O均衡的数据扩容迁移方法结构图。

具体实施方式

[0025] 实施例1：下面结合附图对本发明作进一步的详细说明

[0026] 如图1所示，本发明一种I/O均衡的数据扩容迁移方法，包括以下实施步骤：

[0027] 第一步：初始化存储节点，获取现有存储系统运行参数，节点个数、用户数据容量和存储系统生命周期参数，并将存储节点各数据块平均每天的存取次数清零；

[0028] 第二步：监测存储容量变化，监测现有存储系统容量变化情况，并获取用户数据量以及现有存储系统剩余空闲存储容量；

[0029] 第三步：统计存储节点中各数据块每天的I/O访问次数，并计算现有平均每天的I/O存取次数；

[0030] 第四步：是否数据扩容，根据第二步，监测现有存储系统容量变化情况，确定存储系统是否需要实施扩容，如果用户数据量达到总存储容量的90%则执行下一步骤实施数据扩容，否则返回步骤第二步继续监测存储容量变化情况；

[0031] 第五步：根据总用户数据量，确定在扩容过程中所需加入新磁盘个数，现有数据在扩容后的新存储系统中所占的容量比例40%～50%，；

[0032] 第六步：装载新加入的磁盘，根据确定的加入新磁盘个数；

[0033] 第七步：根据数据块的平均每天I/O存取次数，选前30%的数据块为最热数据块；

[0034] 第八步：根据确定的最热数据块数，计算其在现有各存储节点中平均块个数，每节点中超过平均值的最热数据块则确定为待迁移数据块；

[0035] 第九步：根据待迁移数据块，计算单个块迁移过程中未迁移数据块的访问频次；根据确定的存储节点中待迁移数据块，计算每个数据块迁移过程中未迁移数据块的访问频次；

[0036] 第十步：优先移动访问频次最高的未迁移数据块到新磁盘中，根据单个数据块迁移过程中计算的未迁移数据块的访问频次，优先移动访问频次最高的未迁移数据块到新磁盘中；

[0037] 第十一步：数据是否迁移完，根据待迁移的数据块数，如果待迁移数据块移动完成则执行下一步骤，否则返回步骤第九步继续移动待迁移数据块；

[0038] 第十二步：监测存储系统生命周期是否结束，如果结束则完成，否则返回第一步继续监测存储系统的扩容迁移。

[0039] 至此，本发明所述的用于一种I/O均衡的数据扩容迁移方法实施步骤全部结束。

[0040] 本发明不仅局限于上述具体实施方式，本领域一般技术人员根据本发明公开的内容，可以采用其它多种具体实施方式实施本发明，因此，凡是采用本发明的设计结构和思路，做一些简单的变化或更改的设计，都落入本发明保护的范围。