基于知识与数据双驱动的搭载式岩性智能识别方法及系统

摘要

本发明提供了一种基于知识与数据双驱动的搭载式岩性智能识别方法及系统。其中，该方法包括将同一围岩不同角度的多张图像输入至对应并行的目标检测与定位模型，将目标检测与定位模型输出围岩图像对应的岩性特征及围岩位置信息进行非极大值抑制运算；获取非极大值抑制运算后的围岩位置上的元素含量测试信息，再经基于数据与知识驱动的岩性识别模型输出预测的岩性特征，将预测的岩性特征与非极大值抑制运算后的岩性特征进行点乘并经全连接层输出岩性类别及围岩位置候选信息；将岩性类别及位置候选信息经非极大值抑制运算，得到最终的岩性类别及围岩位置。

权利要求

1.一种基于知识与数据双驱动的搭载式岩性智能识别方法，其特征在于，包括：将同一围岩不同角度的多张图像输入至对应并行的目标检测与定位模型；

所述目标检测与定位模型输出围岩图像对应的岩性特征及围岩位置信息，并进行非极大值抑制运算；

获取非极大值抑制运算后的围岩位置上的元素含量测试信息，再经基于数据与知识驱动的岩性识别模型输出预测的岩性特征，将预测的岩性特征与非极大值抑制运算后的岩性特征进行点乘并经全连接层输出岩性类别及围岩位置候选信息；

将岩性类别及位置候选信息经非极大值抑制运算，得到最终的岩性类别及围岩位置；

其中，基于数据与知识驱动的岩性识别模型的部分原始参数由基于元素信息的岩性识别模型中的参数迁移得到；基于元素信息的岩性识别模型由已知岩性及对应的元素含量信息训练得到。

2.如权利要求1所述的基于知识与数据双驱动的搭载式岩性智能识别方法，其特征在于，基于元素信息的岩性识别模型的训练数据集由元素生成模块随机生成的岩性及对应的元素含量信息构成。

3.如权利要求1所述的基于知识与数据双驱动的搭载式岩性智能识别方法，其特征在于，所述目标检测与定位模型为卷积神经网络。

4.一种基于知识与数据双驱动的搭载式岩性智能识别系统，其特征在于，包括：目标检测与定位模块，其用于将同一围岩不同角度的多张图像输入至对应并行的目标检测与定位模型；

非极大值抑制模块，其用于将所述目标检测与定位模型输出围岩图像对应的岩性特征及围岩位置信息，进行非极大值抑制运算；

候选信息计算模块，其用于获取非极大值抑制运算后的围岩位置上的元素含量测试信息，再经基于数据与知识驱动的岩性识别模型输出预测的岩性特征，将预测的岩性特征与非极大值抑制运算后的岩性特征进行点乘并经全连接层输出岩性类别及围岩位置候选信息；

候选信息筛选模块，其用于将岩性类别及位置候选信息经非极大值抑制运算，得到最终的岩性类别及围岩位置；

其中，基于数据与知识驱动的岩性识别模型的部分原始参数由基于元素信息的岩性识别模型中的参数迁移得到；基于元素信息的岩性识别模型由已知岩性及对应的元素含量信息训练得到。

5.一种基于知识与数据双驱动的搭载式岩性智能识别系统，其特征在于，包括数据采集模块、固定模块、元素数据生成模块、融合计算模块和分析控制模块；

所述数据采集模块与分析控制模块相连，用于采集不同距离条件下的岩石图像以及采集围岩指定位置元素信息，并将采集的信息传送至融合计算模块；

所述固定模块与分析控制模块相连，用于固定并调整数据采集模块的方位；

所述元素数据生成模块与分析控制模块相连，用于随机生成岩性元素含量信息并传送至融合计算模块；

所述融合计算模块与分析控制模块相连，融合计算模块用于：

接收同一围岩不同角度的多张图像输入至对应并行的目标检测与定位模型；所述目标检测与定位模型输出围岩图像对应的岩性特征及围岩位置信息，并进行非极大值抑制运算；

获取非极大值抑制运算后的围岩位置上的元素含量测试信息，再经基于数据与知识驱动的岩性识别模型输出预测的岩性特征，将预测的岩性特征与非极大值抑制运算后的岩性特征进行点乘并经全连接层输出岩性类别及围岩位置候选信息；将岩性类别及位置候选信息经非极大值抑制运算，得到最终的岩性类别及围岩位置；基于元素信息的岩性识别模型由已知岩性及对应的元素含量信息训练得到。

6.如权利要求5所述的基于知识与数据双驱动的搭载式岩性智能识别系统，其特征在于，基于元素信息的岩性识别模型由已知岩性及对应的元素含量信息训练得到。

7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1‑3中任一项所述的基于知识与数据双驱动的搭载式岩性智能识别方法中的步骤。

8.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1‑3中任一项所述的基于知识与数据双驱动的搭载式岩性智能识别方法中的步骤。

说明书

基于知识与数据双驱动的搭载式岩性智能识别方法及系统

技术领域

[0001] 本发明属于工程地质岩石识别与分类技术领域，尤其涉及一种基于知识与数据双驱动的搭载式岩性智能识别方法及系统。

背景技术

[0002] 本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

[0003] 岩性识别是地层分析、储层分析、沉积相分析等地质研究中的重要任务，也是岩石力学与工程、隧道与地下工程、采矿工程、深部资源勘查与开发等工程中的基础工作，岩性识别结果直接影响着施工方案选择、储层评价的可靠程度。TBM在复合地层中掘容易产生较高的刀具磨损、滚刀偏磨等问题，直接影响TBM掘进的效率和成本。另外，岩石强度预测、TBM掘进参数选择等与岩性密切相关。传统的岩性识别方法主要有三种：(1)肉眼观察，地质人员根据岩块的表观特征、地质背景等辨识岩性；(2)薄片鉴定，将岩石标本磨制成薄片，观察镜下图像，分析矿物成分，确定岩石类型；(3)物理试验方法，运用物理测试手段检测、分析岩石成分，最后给出岩性判断；主要仪器有X射线衍射仪、X射线荧光光谱仪、红外光谱等。薄片鉴定耗时久且需要提前加工薄片，在工程现场无法开展；肉眼观察依靠人工经验；物理试验方法受限于实验设备的精确性和从业经验。这些方法均不能满足快速施工对岩性快速、准确判断的需求。针对隧道复杂施工条件，开展基于知识与数据驱动的岩性快速智能识别方法研究，对隧道灾害防控、TBM安全高效掘进具有重要现实意义。

[0004] 当前，在图像分类任务上，深度学习已经取得了较大的进展。利用图像识别岩性也已取得了一些成果，但是试验发现以下问题会影响利用图像识别岩性的准确度：(1)有些岩石成分相近导致图像相似度高，识别难度大；(2)风化或人类活动会破坏岩石表观特征；(3)不同岩性特征间存在尺寸差异，小尺寸岩性特征在特征提取时易丢失；(4)图像不能反映全部岩性特征；(5)光照会影响成像质量。隧道内光照不均、粉尘较大、围岩滴渗水等复杂施工条件会严重影响岩性识别准确度，为了解决这一问题，在岩性识别时有必要考虑岩石成分数据，但是发明人发现，当前成分信息大量采集存在困难，缺少将图像和成分信息深度融合实现岩性准确分类的方法。

发明内容

[0005] 为了解决上述背景技术中存在的技术问题，本发明提供一种基于知识与数据双驱动的搭载式岩性智能识别方法及系统，其具有设备自动化程度高、识别速度快、岩性识别准确度高、对元素数据要求少等优点，具有较好的应用前景。

[0006] 为了实现上述目的，本发明采用如下技术方案：

[0007] 本发明的第一个方面提供一种基于知识与数据双驱动的搭载式岩性智能识别方法。

[0008] 在一个或多个实施例中，一种基于知识与数据双驱动的搭载式岩性智能识别方法，包括：

[0009] 将同一围岩不同角度的多张图像输入至对应并行的目标检测与定位模型；

[0010] 所述目标检测与定位模型输出围岩图像对应的岩性特征及围岩位置信息，并进行非极大值抑制运算；

[0011] 获取非极大值抑制运算后的围岩位置上的元素含量测试信息，再经基于数据与知识驱动的岩性识别模型输出预测的岩性特征，将预测的岩性特征与非极大值抑制运算后的岩性特征进行点乘并经全连接层输出岩性类别及围岩位置候选信息；

[0012] 将岩性类别及位置候选信息经非极大值抑制运算，得到最终的岩性类别及围岩位置；

[0013] 其中，基于数据与知识驱动的岩性识别模型的部分原始参数由基于元素信息的岩性识别模型中的参数迁移得到。

[0014] 本发明的第二个方面提供一种基于知识与数据双驱动的搭载式岩性智能识别系统。

[0015] 在一个或多个实施例中，一种基于知识与数据双驱动的搭载式岩性智能识别系统，包括：

[0016] 目标检测与定位模块，其用于将同一围岩不同角度的多张图像输入至对应并行的目标检测与定位模型；

[0017] 非极大值抑制模块，其用于将所述目标检测与定位模型输出围岩图像对应的岩性特征及围岩位置信息，进行非极大值抑制运算；

[0018] 候选信息计算模块，其用于获取非极大值抑制运算后的围岩位置上的元素含量测试信息，再经基于数据与知识驱动的岩性识别模型输出预测的岩性特征，将预测的岩性特征与非极大值抑制运算后的岩性特征进行点乘并经全连接层输出岩性类别及围岩位置候选信息；

[0019] 候选信息筛选模块，其用于将岩性类别及位置候选信息经非极大值抑制运算，得到最终的岩性类别及围岩位置；

[0020] 其中，基于数据与知识驱动的岩性识别模型的部分原始参数由基于元素信息的岩性识别模型中的参数迁移得到。

[0021] 在一个或多个实施例中，一种基于知识与数据双驱动的搭载式岩性智能识别系统，包括数据采集模块、固定模块、元素数据生成模块、融合计算模块和分析控制模块；

[0022] 所述数据采集模块与分析控制模块相连，用于采集不同距离条件下的岩石图像以及采集围岩指定位置元素信息，并将采集的信息传送至融合计算模块；

[0023] 所述固定模块与分析控制模块相连，用于固定并调整数据采集模块的方位；

[0024] 所述元素数据生成模块与分析控制模块相连，用于随机生成岩性元素含量信息并传送至融合计算模块；

[0025] 所述融合计算模块与分析控制模块相连，融合计算模块用于：

[0026] 接收同一围岩不同角度的多张图像输入至对应并行的目标检测与定位模型；所述目标检测与定位模型输出围岩图像对应的岩性特征及围岩位置信息，并进行非极大值抑制运算；

[0027] 获取非极大值抑制运算后的围岩位置上的元素含量测试信息，再经基于数据与知识驱动的岩性识别模型输出预测的岩性特征，将预测的岩性特征与非极大值抑制运算后的岩性特征进行点乘并经全连接层输出岩性类别及围岩位置候选信息；将岩性类别及位置候选信息经非极大值抑制运算，得到最终的岩性类别及围岩位置。

[0028] 本发明的第三个方面提供一种计算机可读存储介质。

[0029] 一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述所述的基于知识与数据双驱动的搭载式岩性智能识别方法中的步骤。

[0030] 本发明的第四个方面提供一种计算机设备。

[0031] 一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述所述的基于知识与数据双驱动的搭载式岩性智能识别方法中的步骤。

[0032] 与现有技术相比，本发明的有益效果是：

[0033] 本发明利用已有岩性知识随机生成元素信息，训练基于元素的岩性识别模型，解决以往利用实测数据耗时久、无法大量获取元素数据的问题，构建了基于数据与知识驱动的岩性识别模型，利用模型将岩性知识数字化，将不同距离处拍摄的多张照片作为输入预测岩性，从多个角度缓解利用卷积层提取特征时小特征易丢失影响识别准确度的问题。

[0034] 本发明的该识别系统可以搭载到TBM上，几分钟内就可以完成一次岩性识别，可以实现现场岩性自动化快速识别，节省劳动力，为TBM智能化奠定基础。

[0035] 本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

[0036] 构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。

[0037] 图1是本发明实施例的一种基于知识与数据双驱动的搭载式岩性智能识别方法流程图；

[0038] 图2是本发明实施例的基于元素信息的岩性识别模型；

[0039] 图3是本发明实施例的固定模块结构示意图；

[0040] 图4是本发明实施例的数据采集模块结构示意图；

[0041] 图5是本发明实施例的传感器布置示意图；

[0042] 图6是本发明实施例的基于知识与数据双驱动的搭载式岩性智能识别系统结构示意图；

[0043] 图7是本发明实施例的围岩图像原图；

[0044] 图8是本发明实施例的仅利用图像识别方法识别结果为灰岩；

[0045] 图9是本发明实施例的利用元素信息矫正后，识别为石英岩。

[0046] 其中，1.转盘，2.第一液压驱动，3.第二液压驱动机构，4.第三液压驱动机构，5.基座，6.相机，7.激光测距仪，8.X射线荧光光谱仪，9.第一压力传感器，10.第二压力传感器，11第三压力传感器，12.保护壳，13.第四液压驱动机构，14.第五液压驱动机构，15.立柱。

具体实施方式

[0047] 下面结合附图与实施例对本发明作进一步说明。

[0048] 应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。

[0049] 需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

[0050] 实施例一

[0051] 如图1所示，本实施例提供了一种基于知识与数据双驱动的搭载式岩性智能识别方法，其包括：

[0052] S101：将同一围岩不同角度的多张图像输入至对应并行的目标检测与定位模型；

[0053] S102：所述目标检测与定位模型输出围岩图像对应的岩性特征及围岩位置信息，并进行非极大值抑制运算；

[0054] S103：获取非极大值抑制运算后的围岩位置上的元素含量测试信息，再经基于数据与知识驱动的岩性识别模型输出预测的岩性特征，将预测的岩性特征与非极大值抑制运算后的岩性特征进行点乘并经全连接层输出岩性类别及围岩位置候选信息；

[0055] S104：将岩性类别及位置候选信息经非极大值抑制运算，得到最终的岩性类别及围岩位置；

[0056] 其中，基于数据与知识驱动的岩性识别模型的部分原始参数由基于元素信息的岩性识别模型中的参数迁移得到。

[0057] 在本实施例中，基于元素信息的岩性识别模型由已知岩性及对应的元素含量信息训练得到。

[0058] 基于元素信息的岩性识别模型的训练数据集由元素生成模块随机生成的岩性及对应的元素含量信息构成。元素数据生成模块为一段程序，可以大量随机生成岩性元素含量信息。每种岩石所包含的矿物含量在一定范围，元素数据生成模块根据矿物构成范围随机生成矿物含量信息，并利用矿物分子式生成元素含量信息。

[0059] 本实施例的目标检测与定位模型为卷积神经网络。

[0060] 具体地，图1中的FCs指的是几个全连接层，一般为三到五个；Conv layers指的是目标检测与定位模型，可以为Faster RCNN、YOLO‑V4。

[0061] 具体地试验如图7‑图9所示，其中，图7为围岩图像原图，图8为仅利用图像识别方法识别结果为灰岩；图9为利用元素信息矫正后，识别为石英岩。

[0062] 实施例二

[0063] 本实施例提供了一种基于知识与数据双驱动的搭载式岩性智能识别系统，包括：

[0064] 目标检测与定位模块，其用于将同一围岩不同角度的多张图像输入至对应并行的目标检测与定位模型；

[0065] 非极大值抑制模块，其用于将所述目标检测与定位模型输出围岩图像对应的岩性特征及围岩位置信息，进行非极大值抑制运算；

[0066] 候选信息计算模块，其用于获取非极大值抑制运算后的围岩位置上的元素含量测试信息，再经基于数据与知识驱动的岩性识别模型输出预测的岩性特征，将预测的岩性特征与非极大值抑制运算后的岩性特征进行点乘并经全连接层输出岩性类别及围岩位置候选信息；

[0067] 候选信息筛选模块，其用于将岩性类别及位置候选信息经非极大值抑制运算，得到最终的岩性类别及围岩位置；

[0068] 其中，基于数据与知识驱动的岩性识别模型的部分原始参数由基于元素信息的岩性识别模型中的参数迁移得到。

[0069] 所述基于元素信息的岩性识别模型由已知岩性及对应的元素含量信息训练得到。

[0070] 此处需要说明的是，本实施例的基于知识与数据双驱动的搭载式岩性智能识别系统中的各个模块，与实施例一中的基于知识与数据双驱动的搭载式岩性智能识别方法中的各个步骤一一对应，其具体实施过程相同，此处不再累述。

[0071] 实施例三

[0072] 如图6所示，本实施例的基于知识与数据双驱动的搭载式岩性智能识别系统包括数据采集模块、固定模块、元素数据生成模块、融合计算模块和分析控制模块，其中：

[0073] 如图3所示，固定模块包括转盘1、第一液压驱动2、第二液压驱动机构3、第三液压驱动机构4、基座5、第四液压驱动机构13、第五液压驱动机构14和立柱15。

[0074] 其中，转盘、第一液压驱动和第二液压驱动机构用于调整数据采集模块和围岩的位置关系方便数据有效采集。基座和第二液压机构相连的部位为一个球型凹腔第二液压驱动机构和基座相连的一端成球状且深入基座内部，基座可以在第三、第四、第五液压驱动机构的作用下绕第二液压驱动机构旋转进而调整X射线荧光光谱仪和围岩的接触状态；固定模块受分析控制模块控制。

[0075] 通过转盘1旋转、第一液压驱动2伸缩和第二液压驱动3伸缩调整数据采集模块与围岩的相对位置关系；第二液压驱动机构3和基座5铰链，第三液压驱动机构4、第四液压驱动机构13、第五液压驱动机构14可以精细化调整数据采集模块与围岩的相对位置关系，如图3所示。

[0076] 如图4所示，数据采集模块包括相机6、激光测距仪7、X射线荧光光谱仪8、第一压力传感器9、第二压力传感器10、第三压力传感器11和保护壳12；相机6用于采集围岩图像信息，激光测距仪7用于采集距离信息，为采集不同距离条件下的岩石图像提供判断基础；X射线荧光光谱仪8用于采集围岩指定位置元素信息，第一压力传感器9、第二压力传感器10和第三压力传感器11用于采集压力信息判断X射线荧光光谱仪8和围岩是否紧密接触；保护壳12保护X射线荧光光谱仪8不被落石等损坏，如图3所示；第一压力传感器9、第二压力传感器
10、第三压力传感器11在保护壳12上的排列关系如图4和图5所示。

[0077] 元素数据生成模块为一段程序，可以大量随机生成岩性元素含量信息。每种岩石所包含的矿物含量在一定范围，元素数据生成模块根据矿物构成范围随机生成矿物含量信息，并利用矿物分子式生成元素含量信息，元素数据生成模块所生成信息会传输给融合计算模块并接受分析控制模块控制。

[0078] 融合计算模块包括两个岩性识别模型，图2为基于元素信息的岩性识别模型，该模型训练所用数据为元素生成模块随机生成的岩性及对应的元素含量信息，该模型的构建完全基于已有岩性知识；第二个为基于数据与知识驱动的岩性识别模型，将不同距离条件下的两种图像和元素信息同时作为输入，该模型中的元素特征提取参数为基于元素信息的岩性识别模型中的参数。

[0079] 具体地，融合计算模块用于：

[0080] 接收同一围岩不同角度的多张图像输入至对应并行的目标检测与定位模型；所述目标检测与定位模型输出围岩图像对应的岩性特征及围岩位置信息，并进行非极大值抑制运算；

[0081] 获取非极大值抑制运算后的围岩位置上的元素含量测试信息，再经基于数据与知识驱动的岩性识别模型输出预测的岩性特征，将预测的岩性特征与非极大值抑制运算后的岩性特征进行点乘并经全连接层输出岩性类别及围岩位置候选信息；将岩性类别及位置候选信息经非极大值抑制运算，得到最终的岩性类别及围岩位置。

[0082] 分析控制模块维持数据采集模块、固定模块、元素数据生成模块、融合计算模块的正常运行和模块间的数据传输。分析控制模块控制固定模块调整相机和围岩的位置关系，分析控制模块控制相机拍摄两张不同距离条件下的岩石图像并将图像传递给融合计算模块，分析控制模块控制固定模块调整X射线荧光光谱仪和围岩紧密接触；分析控制模块控制X射线荧光光谱仪采集元素信息并传递给融合计算模块，融合计算模块利用基于数据与知识驱动岩性识别模型对围岩进行岩性预测。

[0083] 本实施例的基于知识与数据双驱动的搭载式岩性智能识别系统的使用方法，包括以下步骤：

[0084] A.分析控制模块控制元素数据生成模块生成大量随机岩性元素信息并传递给融合计算模块；

[0085] B.融合计算模块利用岩性元素信息训练基于元素的岩性识别模型；

[0086] C.将基于元素的岩性识别模型中的参数迁移给基于数据与知识驱动的岩性识别模型中的对应部分，利用图像和元素数据训练基于数据与知识驱动的岩性识别模型；

[0087] D.转盘1旋转调整第二液压驱动机构3与围岩的位置关系；

[0088] E.第一液压驱动2和第二液压驱动机构3伸缩调整基座5与围岩的位置关系；

[0089] F.利用激光测距仪7判断基座与围岩的距离，重复步骤E，直至基座与围岩的距离满足第一张图像的采集要求

[0090] G.相机6采集第一张围岩图像，图像传输给融合计算模块；

[0091] H.重复步骤E，直至基座与围岩的距离满足第二张图像的采集要求；

[0092] I.相机6采集第二张围岩图像，图像传输给融合计算模块；

[0093] J.重复步骤E直至第一压力传感器9、第二压力传感器10和第三压力传感器11中感应到接触压力；

[0094] K.第三液压驱动机构4、第四液压驱动机构13和第五液压驱动机构伸缩直至第一压力传感器9、第二压力传感器10和第三压力传感器11全部感应到压力，此时X射线荧光光谱仪8与围岩紧密接触。

[0095] L.X射线荧光光谱仪8采集元素信息并将数据传输给融合计算模块；

[0096] M.融合计算模块基于两张图像及训练好的基于数据与知识驱动的岩性识别模型中，得到岩性识别结果。

[0097] 具体地，融合计算模块中获取最终的岩性特征及位置信息的具体过程为：

[0098] 接收同一围岩不同角度的多张图像输入至对应并行的目标检测与定位模型；所述目标检测与定位模型输出围岩图像对应的岩性特征及围岩位置信息，并进行非极大值抑制运算；

[0099] 获取非极大值抑制运算后的围岩位置上的元素含量测试信息，再经基于数据与知识驱动的岩性识别模型输出预测的岩性特征，将预测的岩性特征与非极大值抑制运算后的岩性特征进行点乘并经全连接层输出岩性类别及围岩位置候选信息；将岩性类别及位置候选信息经非极大值抑制运算，得到最终的岩性类别及围岩位置。

[0100] 实施例四

[0101] 本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述实施例一所述的基于知识与数据双驱动的搭载式岩性智能识别方法中的步骤。

[0102] 实施例五

[0103] 本实施例提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述实施例一所述的基于知识与数据双驱动的搭载式岩性智能识别方法中的步骤。

[0104] 本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

[0105] 本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

[0106] 这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

[0107] 这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

[0108] 本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read‑Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。

[0109] 以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。