病理图片的识别方法及装置

摘要

本发明公开了一种病理图片的识别方法及装置，其中该方法包括：获得样本数据，所述样本数据包括正样本和负样本，所述正样本为恶性病变病理图片，所述负样本为正常或良性病变病理图片，所述恶性病变病理图片上标记出病变区域；将所述样本数据划分为训练集和测试集；利用所述训练集对深度神经网络模型进行训练；利用所述测试集对训练好的深度神经网络模型进行测试；根据测试结果对训练好的深度神经网络模型进行参数调整；利用训练好的深度神经网络模型对病理图片进行识别。本发明可以提高病理图片识别的效率和准确率。

权利要求

1.一种病理图片的识别装置，其特征在于，包括：

样本获得模块，用于获得样本数据，所述样本数据包括正样本和负样本，所述正样本为恶性病变病理图片，所述负样本为正常或良性病变病理图片，所述恶性病变病理图片上标记出病变区域，在恶性病变病理图片上标记的病变区域切割出不同尺寸的图片；在正常或良性病变病理图片上随机切割出不同尺寸的图片；

样本划分模块，用于将所述样本数据划分为训练集和测试集；

模型训练模块，用于利用所述训练集对深度神经网络模型进行训练，进一步用于：将不同尺寸的图片分别输入深度神经网络模型进行训练；

模型测试模块，用于利用所述测试集对训练好的深度神经网络模型进行测试，进一步用于：将测试图片的识别结果与测试图片上的病变区域标记进行比对，输出测试结果；

模型调整模块，用于根据测试结果对训练好的深度神经网络模型进行参数调整，进一步用于：在测试结果不正确时，将测试图片映射回原始病理图片，在测试图片周围切割出多个相同尺寸的图片，将切割出的图片输入深度神经网络模型进行迭代训练；

图片识别模块，用于利用训练好的深度神经网络模型对病理图片进行识别。

2.如权利要求1所述的装置，其特征在于，进一步包括：预处理模块，用于在正常或良性病变病理图片上随机切割出不同尺寸的图片之后，舍弃其中细胞含量小于50%的图片。

3.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如下方法：获得样本数据，所述样本数据包括正样本和负样本，所述正样本为恶性病变病理图片，所述负样本为正常或良性病变病理图片，所述恶性病变病理图片上标记出病变区域，在恶性病变病理图片上标记的病变区域切割出不同尺寸的图片，在正常或良性病变病理图片上随机切割出不同尺寸的图片；

将所述样本数据划分为训练集和测试集；

利用所述训练集对深度神经网络模型进行训练，包括：

将不同尺寸的图片分别输入深度神经网络模型进行训练；

利用所述测试集对训练好的深度神经网络模型进行测试，包括：将测试图片的识别结果与测试图片上的病变区域标记进行比对，输出测试结果；

根据测试结果对训练好的深度神经网络模型进行参数调整，包括：在测试结果不正确时，将测试图片映射回原始病理图片，在测试图片周围切割出多个相同尺寸的图片，将切割出的图片输入深度神经网络模型进行迭代训练；

利用训练好的深度神经网络模型对病理图片进行识别。

4.如权利要求3所述的计算机设备，其特征在于，在正常或良性病变病理图片上随机切割出不同尺寸的图片之后，更包括：舍弃图片中细胞含量小于50%的图片。

5. 如权利要求3所述的计算机设备，其特征在于，所述深度神经网络模型为Inception v3模型。

6.如权利要求3至5任一项所述的计算机设备，其特征在于，利用所述训练集对深度神经网络模型进行训练，包括：将深度神经网络模型的训练部署在多个图形处理器上进行分布式训练。

7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有执行如下方法的计算机程序：获得样本数据，所述样本数据包括正样本和负样本，所述正样本为恶性病变病理图片，所述负样本为正常或良性病变病理图片，所述恶性病变病理图片上标记出病变区域，在恶性病变病理图片上标记的病变区域切割出不同尺寸的图片，在正常或良性病变病理图片上随机切割出不同尺寸的图片；

将所述样本数据划分为训练集和测试集；

利用所述训练集对深度神经网络模型进行训练，包括：

将不同尺寸的图片分别输入深度神经网络模型进行训练；

利用所述测试集对训练好的深度神经网络模型进行测试，包括：将测试图片的识别结果与测试图片上的病变区域标记进行比对，输出测试结果；

根据测试结果对训练好的深度神经网络模型进行参数调整，包括：在测试结果不正确时，将测试图片映射回原始病理图片，在测试图片周围切割出多个相同尺寸的图片，将切割出的图片输入深度神经网络模型进行迭代训练；

利用训练好的深度神经网络模型对病理图片进行识别。

8.如权利要求7所述的计算机可读存储介质，其特征在于，在正常或良性病变病理图片上随机切割出不同尺寸的图片之后，更包括：舍弃图片中细胞含量小于50%的图片。

9. 如权利要求7所述的计算机可读存储介质，其特征在于，所述深度神经网络模型为Inception v3模型。

10.如权利要求7至9任一项所述的计算机可读存储介质，其特征在于，利用所述训练集对深度神经网络模型进行训练，包括：将深度神经网络模型的训练部署在多个图形处理器上进行分布式训练。

说明书

病理图片的识别方法及装置

技术领域

[0001] 本发明涉及医疗技术领域，尤其涉及病理图片的识别方法及装置。

背景技术

[0002] 目前，疑似患有鼻咽癌的病人，需要将其鼻咽部分的病理图片交由相应的医生观察，并识别出其中的正常、良性和恶性病理图片。一张病理图片，其长与宽的像素值均为数万级别，若要做出识别，一般需要鼻咽癌方面有着丰富经验的医生，在放大四十倍的情况下进行仔细观察，整个过程不但耗时耗力，依赖经验，准确率不太理想，而且不同经验的医生对同一病理图片可能存在不同识别结论的风险。

发明内容

[0003] 本发明实施例提供一种病理图片的识别方法，用以提高病理图片识别的效率和准确率，该方法包括：

[0004] 获得样本数据，所述样本数据包括正样本和负样本，所述正样本为恶性病变病理图片，所述负样本为正常或良性病变病理图片，所述恶性病变病理图片上标记出病变区域；

[0005] 将所述样本数据划分为训练集和测试集；

[0006] 利用所述训练集对深度神经网络模型进行训练；

[0007] 利用所述测试集对训练好的深度神经网络模型进行测试；

[0008] 根据测试结果对训练好的深度神经网络模型进行参数调整；

[0009] 利用训练好的深度神经网络模型对病理图片进行识别。

[0010] 本发明实施例还提供一种病理图片的识别装置，用以提高病理图片识别的效率和准确率，该装置包括：

[0011] 样本获得模块，用于获得样本数据，所述样本数据包括正样本和负样本，所述正样本为恶性病变病理图片，所述负样本为正常或良性病变病理图片，所述恶性病变病理图片上标记出病变区域；

[0012] 样本划分模块，用于将所述样本数据划分为训练集和测试集；

[0013] 模型训练模块，用于利用所述训练集对深度神经网络模型进行训练；

[0014] 模型测试模块，用于利用所述测试集对训练好的深度神经网络模型进行测试；

[0015] 模型调整模块，用于根据测试结果对训练好的深度神经网络模型进行参数调整；

[0016] 图片识别模块，用于利用训练好的深度神经网络模型对病理图片进行识别。

[0017] 本发明实施例还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述病理图片的识别方法。

[0018] 本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述病理图片的识别方法的计算机程序。

[0019] 本发明实施例中，先获得样本数据，其中将标记出病变区域的恶性病变病理图片作为正样本，将正常或良性病变病理图片作为负样本，将样本数据划分为训练集和测试集，利用训练集对深度神经网络模型进行训练，利用测试集对训练好的深度神经网络模型进行测试，再根据测试结果对训练好的深度神经网络模型进行参数调整，从而使训练好的深度神经网络模型具有病理图片自动识别功能，将病理图片输入该深度神经网络模型，即可识别出病理图片上可能有恶性病变的区域，实现对病理图片的良恶性分类，整个过程省时、省力，不但提高了病理图片识别的效率，而且不依赖于医生的个人经验，大大提高了病理图片识别的准确率。

[0020] 本发明实施例不仅可以应用于鼻咽癌病理图片的识别，还可以应用于其它癌症病理图片的识别。

附图说明

[0021] 为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

[0022] 图1为本发明实施例中病理图片的识别方法的示意图；

[0023] 图2为本发明实施例中病理图片的识别方法的一具体示例图；

[0024] 图3为本发明实施例中病理图片的识别装置的示意图；

[0025] 图4为本发明实施例中病理图片的识别装置的一具体示例图。

具体实施方式

[0026] 为使本发明实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本发明实施例做进一步详细说明。在此，本发明的示意性实施例及其说明用于解释本发明，但并不作为对本发明的限定。

[0027] 下面对本发明实施例中涉及的技术术语进行简要说明。

[0028] 准确率：Accuracy＝(预测正确的样本数)/(总样本数)。

[0029] 查准率：Precision＝(预测为1且正确预测的样本数)/(所有预测为1的样本数)。

[0030] 查全率：Recall＝(预测为1且正确预测的样本数)/(所有真实情况为1的样本数)。

[0031] Top5错误率：imagenet图像通常有1000个可能的类别，对每幅图像可以同时预测5个类别标签，当其中有任何一次预测对了，结果都算对，当5次全都错了的时候，才算预测错误，这时候的分类错误率就叫top5错误率。

[0032] 迁移学习：把已训练好的模型参数迁移到新的模型来帮助新模型训练数据。

[0033] 如前所述，目前，针对鼻咽癌良恶性分类这一技术，主要为传统的人工分类，需要经验丰富的专业医生在千兆级的病理图片上认真观察并做出识别，且识别错误率较高。整个过程费时、费力、准确率低，而且不同经验的医生对同一病理图片存在不同识别结论的风险。为了解决这一问题，发明人在实现本发明的过程中发现：

[0034] 如今，深度学习技术影响着当前社会的方方面面，将人工智能的相应技术应用于医疗方面已经成为了可能。尽管深度神经网络在医学图像处理方面的应用不是很多，但利用它进行图片分类已经取得了显著的成果，GoogLeNet在2014年的ILSVRC挑战赛上获得冠军，将Top5错误率降低到6.67％；在2016年的ImageNet的图片分类比赛上，深度神经网络进行图片分类的错误率仅为3.57％，低于人类水平5.1％，这表明深度学习技术在图片分类上是可行的，并且具有非常大的优势。在GoogLeNet之上，又将其网络加以改进，形成了Inception v1、Inception v2、Inception v3、Inception v4模型，这些模型对于图像分类均具有很好的借鉴作用，可利用它们进行迁移学习。

[0035] 并且，最近几年，随着数据的增多、算法的改进、计算能力的增强，使得人工神经网络的训练深度得以剧增，其性能也得到了极大的提升，某些方面甚至已经超过了人类。具有多个隐藏层的神经网络称为深度神经网络，深度神经网络使得端到端的学习成为了可能，我们不需要手动设计特征，这种设计耗时耗力，还需要专业知识，有时人类的认知反而会限制神经网络的性能，而是直接给深度神经网络的输入层输入需要预测的病理图片，让其通过学习训练，自动输出良恶性分类的结果。深度神经网络含有多个隐藏层，这些隐藏层可以看作是多层感知器，其在训练过程中每一层感知器均可以自动获取图片的特征。浅层神经网络获得的图片特征是局部的，深层的神经网络可以组合浅层神经网络获得的低级特征，进而学习到更高级、更抽象的特征。最后，根据这些抽象的图片特征，来达到对原始图片进行分类，即良恶性图片识别的目的。

[0036] 基于此，发明人考虑在本发明实施例中，根据医院提供的病理图片，通过专家在图上标出病变区域，利用这些标签数据训练一个深度神经网络模型，使其具有良恶性分类功能。之后，将患者的病理图片输入给已经训练好的模型，该模型即可预测出整个病理图片可能有恶性病变的区域，做出良恶性识别。实验结果表明，模型的准确率(Accuracy)为98.6％，查准率(Precision)为99.1％，查全率(Recall)为98.4％。本发明实施例利用深度神经网络模型，解决了人工检查病理切片时出现的问题，并能提供很高的可信度。

[0037] 图1为本发明实施例中病理图片的识别方法的示意图，如图1所示，该方法可以包括：

[0038] 步骤101、获得样本数据，所述样本数据包括正样本和负样本，所述正样本为恶性病变病理图片，所述负样本为正常或良性病变病理图片，所述恶性病变病理图片上标记出病变区域；

[0039] 步骤102、将所述样本数据划分为训练集和测试集；

[0040] 步骤103、利用所述训练集对深度神经网络模型进行训练；

[0041] 步骤104、利用所述测试集对训练好的深度神经网络模型进行测试；

[0042] 步骤105、根据测试结果对训练好的深度神经网络模型进行参数调整；

[0043] 步骤106、利用训练好的深度神经网络模型对病理图片进行识别。

[0044] 由图1所示流程可以得知，本发明实施例可以利用深度神经网络模型对病理图片进行自动识别，将病理图片输入该深度神经网络模型，即可识别出病理图片上可能有恶性病变的区域，实现对病理图片的良恶性分类，整个过程省时、省力，不但提高了病理图片识别的效率，而且不依赖于医生的个人经验，大大提高了病理图片识别的准确率。本发明实施例不仅可以应用于鼻咽癌病理图片的识别，还可以应用于其它癌症病理图片，如肺癌、肝癌等病理图片的识别。

[0045] 具体实施时，先获得样本数据，样本数据包括正样本和负样本，正样本为恶性病变病理图片，负样本为正常或良性病变病理图片，恶性病变病理图片上标记出病变区域。以鼻咽癌病理图片的识别为例，实施例中，可以依据回顾性临床研究方法，依托某医院病理科前期获得的患者的鼻咽癌活检病理切片，首先由徕卡数字病理扫描仪扫描为40倍的全视野数字病理图片进行存储，获得的图像为svs格式，一张图片的大小为千兆级别，长和宽的像素数可达上万级别，此图片可通过Leica的ImageScope软件进行预览，病理科专业医生利用此软件查看病理图片，并对病变区域做出标记，标注后会生成一个xml格式的标注文件。

[0046] 由于获取的原始数据十分巨大，将其放入深度神经网络模型进行训练可能会影响效率，因此在实施例中可以进行预处理操作，将其切割为合适的大小。具体的，在获得样本数据后，可以进一步按如下方式对样本数据进行预处理：在恶性病变病理图片上标记的病变区域切割出不同尺寸的图片；在正常或良性病变病理图片上随机切割出不同尺寸的图片，舍弃其中细胞含量小于50％的图片，即样本的有效组织区域占该样本的面积小于一半则视为无效样本。其中不同尺寸的图片例如可以包括：256×256像素、512×512像素、1024×1024像素三种不同尺寸的图片。当然，这三种尺寸仅为举例，本领域技术人员可以理解，实施时还可以有其它具体的尺寸取值，本发明不再一一列举，相关的变化例均应落入本发明的保护范围。

[0047] 下面仍以鼻咽癌病理图片的识别为例，给出预处理的具体实例。

[0048] 本例中，对于正样本，表示鼻咽标本为恶性病变，其中有xml标注文件。对于这种样本，首先将原始图像的标注区域记录下来，在标注区域内部，切割出256×256像素、512×512像素、1024×1024像素这三种尺寸的小图片，重复这个过程，将一张病理图片上的标注区域切割完全。对于每张病理图片重复这个过程。

[0049] 本例中，对于负样本，表示鼻咽标本为良性，其中没有xml标注文件。对于这种样本，首先将原始图像通过阈值分割转化为二值图像，其中0表示没有细胞，1表示有细胞，随机选取二值图像中为1的点作为切割图像的中心点，切割出256×256像素、512×512像素、1024×1024像素这三种尺寸的小图片，若其中有细胞的比例不到一半，则舍弃，重复这个过程，在一张病理图片上分别切割出不同尺寸的小图片各1000张。对于每张病理图片重复这个过程。

[0050] 这样，就得到了不同尺寸大小的正负样本的小图片，这些图片可以输入至深度神经网络模型进行训练和测试。

[0051] 在获得样本数据之后，将样本数据划分为训练集和测试集。例如，对于上述的正负样本小图片，将其中的70％归为一类，作为训练集，其目的是用于训练深度神经网络模型，剩下的30％归为另一类，作为测试集，其目的是用于测试深度神经网络模型的分类性能。

[0052] 接下来，利用训练集对深度神经网络模型进行训练。目前，网络上有很多成熟的深度神经网络框架，其对于图片分类的效果都比较好，并且也有别人已经训练好的深度神经网络的所有权重参数，可以直接下载下来，根据迁移学习原理，大大缩短训练网络所需要的时间。为了加快训练速度，经过多次测试，实施例中深度神经网络模型可以选定Inception v3模型，在模型训练过程中，初始化权重、偏置，设置迭代次数、batch大小、卷积核大小等参数，根据训练结果不断优化。本领域技术人员可以理解，上述选定Inception v3模型作为深度神经网络模型用于预训练仅为一例，实施时也可以选择其它的深度神经网络模型，如Inception v1模型、Inception v2模型、Inception v4模型等，本发明不再一一列举，相关的变化例均应落入本发明的保护范围。

[0053] 实施例中，利用训练集对深度神经网络模型进行训练，可以包括：将深度神经网络模型的训练部署在多个图形处理器(Graphics Processing Unit，GPU)上进行分布式训练。例如，可以通过Tensorflow的分布式训练原理，将模型的训练部署在多个图形处理器上进行分布式训练，大大缩短了模型的训练时间，加快模型收敛。

[0054] 实施例中，利用训练集对深度神经网络模型进行训练，可以包括：将不同尺寸的图片分别输入深度神经网络模型进行训练。例如，训练集中的数据有256×256像素、512×512像素、1024×1024像素三种不同尺寸的小图片，分别放入深度神经网络模型进行训练，使其既学习到了局部的细节的纹理特征，又学习到了相对较大的整体的结构信息，这对于模型的准确率具有提升作用。

[0055] 当深度神经网络模型通过训练集训练好了之后，就可以利用测试集对训练好的深度神经网络模型进行测试，即测试深度神经网络模型的分类性能。实施例中，利用测试集对训练好的深度神经网络模型进行测试，可以包括：将测试图片的识别结果与测试图片上的病变区域标记进行比对，输出测试结果。例如，将测试集送入深度神经网络模型，深度神经网络模型将会对每一张小图片做出识别，即鼻咽病变是否是鼻咽癌，这个结果与其自身的标记相比对，即可获得深度神经网络模型的分类正确率。

[0056] 为了使结果更加准确，在获得测试结果后，根据测试结果对训练好的深度神经网络模型进行参数调整。实施例中，可以在测试结果不正确时，将测试图片映射回原始病理图片，在测试图片周围切割出多个相同尺寸的图片，将切割出的图片输入深度神经网络模型进行迭代训练。例如，将分类结果不正确的小图片映射回它所在的原始病理图片上，再在其周围切割出多个相同尺寸的小图片，将这些数据送入深度神经网络模型中进行迭代训练，微调模型，使其尽可能减小这类小图片的错误分类概率，提高模型的预测精度。

[0057] 如上所述，我们利用已有的标签数据，训练一个深度学习系统，帮助我们直接做出病理图片的良恶性分类识别，整个过程省时省力并且准确率极高。实验结果表明，经过多次参数调整，训练，优化，模型最终可以达到98.6％的准确率，99.1％的查准率，98.4％的查全率。

[0058] 图2为本发明实施例中病理图片的识别方法的一具体示例图，如图2所示，本例中，将原始病理图片进行预处理，将预处理后的病理图片分为训练集和测试集，其中训练集输入深度神经网络模型进行训练，将测试集输入训练好的深度神经网络模型进行测试，在获得测试结果后，将测试所用图片映射回原始病理图片进行分析，再对深度神经网络模型进行参数调整，从而最终得到有较高准确率的具有良恶性病变病理图片自动分类识别功能的深度神经网络模型。

[0059] 基于同一发明构思，本发明实施例中还提供了一种病理图片的识别装置，如下面的实施例所述。由于该装置解决问题的原理与病理图片的识别方法相似，因此该装置的实施可以参见病理图片的识别方法的实施，重复之处不再赘述。

[0060] 图3为本发明实施例中病理图片的识别装置的示意图，如图3所示，该装置可以包括：

[0061] 样本获得模块301，用于获得样本数据，所述样本数据包括正样本和负样本，所述正样本为恶性病变病理图片，所述负样本为正常或良性病变病理图片，所述恶性病变病理图片上标记出病变区域；

[0062] 样本划分模块302，用于将所述样本数据划分为训练集和测试集；

[0063] 模型训练模块303，用于利用所述训练集对深度神经网络模型进行训练；

[0064] 模型测试模块304，用于利用所述测试集对训练好的深度神经网络模型进行测试；

[0065] 模型调整模块305，用于根据测试结果对训练好的深度神经网络模型进行参数调整；

[0066] 图片识别模块306，用于利用训练好的深度神经网络模型对病理图片进行识别。

[0067] 如图4所示，在一个实施例中，图3所示的病理图片的识别装置还可以包括：

[0068] 预处理模块401，用于按如下方式对所述样本数据进行预处理：在恶性病变病理图片上标记的病变区域切割出不同尺寸的图片；在正常或良性病变病理图片上随机切割出不同尺寸的图片，舍弃其中细胞含量小于50％的图片。

[0069] 在一个实施例中，所述不同尺寸的图片可以包括：256×256像素、512×512像素、1024×1024像素三种不同尺寸的图片。

[0070] 在一个实施例中，模型训练模块303可以进一步用于：将不同尺寸的图片分别输入深度神经网络模型进行训练；

[0071] 模型测试模块304可以进一步用于：将测试图片的识别结果与测试图片上的病变区域标记进行比对，输出测试结果；

[0072] 模型调整模块305可以进一步用于：在测试结果不正确时，将测试图片映射回原始病理图片，在测试图片周围切割出多个相同尺寸的图片，将切割出的图片输入深度神经网络模型进行迭代训练。

[0073] 在一个实施例中，所述深度神经网络模型可以为Inception v3模型。

[0074] 在一个实施例中，模型训练模块303可以进一步用于：利用所述训练集对深度神经网络模型进行训练，包括：将深度神经网络模型的训练部署在多个图形处理器上进行分布式训练。

[0075] 本发明实施例还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述病理图片的识别方法。

[0076] 本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述病理图片的识别方法的计算机程序。

[0077] 综上所述，如今，人工智能技术又一次兴起，伴随着大数据，新算法，云计算的发展，训练深度神经网络模型已经成为了可能，人工智能将会给各个行业带来深远的影响，人工智能+医疗当然也在其中。本发明实施例利用了人工智能在图片分类上的优点，结合传统医疗，使其可以对病理图片做出正确分类。

[0078] 本发明实施例中，先获得样本数据，其中将标记出病变区域的恶性病变病理图片作为正样本，将正常或良性病变病理图片作为负样本，将样本数据划分为训练集和测试集，利用训练集对深度神经网络模型进行训练，利用测试集对训练好的深度神经网络模型进行测试，再根据测试结果对训练好的深度神经网络模型进行参数调整，从而使训练好的深度神经网络模型具有病理图片自动识别功能，将病理图片输入该深度神经网络模型，即可识别出病理图片上可能有恶性病变的区域，实现对病理图片的良恶性分类，整个过程省时、省力，不但提高了病理图片识别的效率，而且不依赖于医生的个人经验，大大提高了病理图片识别的准确率，可以满足现实应用需求。

[0079] 本发明实施例不仅可以应用于鼻咽癌病理图片的识别，还可以应用于其它癌症病理图片的识别。

[0080] 本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

[0081] 本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

[0082] 这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

[0083] 这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

[0084] 以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。