产品缺陷严重程度测量方法及系统及装置及介质

摘要

本发明公开了产品缺陷严重程度测量方法及系统及装置及介质，涉及智能工业制造领域，包括：构建产品缺陷识别模型；获得产品的第一图片；将所述第一图片进行二值化处理获得第二图片；提取出第二图片中的电极线，获得第三图片；将所述第一图片输入所述产品缺陷识别模型，获得产品的缺陷位置信息；基于所述第二图片、所述第三图片和所述缺陷位置信息获得缺陷位置对应的缺陷二值图；基于所述缺陷二值图计算获得缺陷宽度；基于所述第三图片获得电极线宽度；基于所述缺陷宽度与所述电极线宽度计算获得缺陷严重值，基于所述缺陷严重值判断获得产品缺陷严重程度；本发明能够对产品的缺陷程度进行准确的测量。

权利要求

1.产品缺陷严重程度测量方法，其特征在于，所述方法包括：构建产品缺陷识别模型；

获得产品的第一图片；

将所述第一图片进行二值化处理获得第二图片；

提取出第二图片中的电极线，获得第三图片；

将所述第一图片输入所述产品缺陷识别模型，获得产品的缺陷位置信息；

基于所述第二图片、所述第三图片和所述缺陷位置信息获得缺陷位置对应的缺陷二值图；

基于所述缺陷二值图计算获得缺陷宽度；

基于所述第三图片获得电极线宽度；

基于所述缺陷宽度与所述电极线宽度计算获得缺陷严重值，基于所述缺陷严重值判断获得产品缺陷严重程度；

从所述第二图片中提取出电极线后，所述方法还包括：判断提取出的所述电极线中是否存在残缺，若存在，则从提取出的电极线中取出完整的电极线，基于所述完整的电极线和电极线间的间距值，复制所述完整的电极线获得所述第三图片；从所述第二图片中提取出电极线后，所述方法还包括：判断提取出的所述电极线中是否存在宽度不合格的电极线，若存在，则利用标准电极线替换宽度不合格的电极线；所述缺陷严重值的计算方式为：ratio=length1/length2；

其中，ratio为缺陷严重值，length1为缺陷宽度，length2为电极线宽度。

2.根据权利要求1所述的产品缺陷严重程度测量方法，其特征在于，所述将所述第一图片进行二值化处理获得第二图片，具体包括：将所述第一图片转换到HSV空间，在HSV空间中的明度空间作自适应二值化处理得到所述第二图片。

3.根据权利要求1所述的产品缺陷严重程度测量方法，其特征在于，所述产品缺陷识别模型的构建步骤包括：采集若干产品的图片获得样本数据集；

对样本数据集中的产品缺陷进行标注获得训练数据集；

利用所述训练数据集对卷积神经网络进行训练获得产品缺陷识别模型。

4.根据权利要求1所述的产品缺陷严重程度测量方法，其特征在于，所述基于所述第二图片、所述第三图片和所述缺陷位置信息获得缺陷位置对应的缺陷二值图，具体包括：基于所述缺陷位置信息，从所述第二图片中裁剪出缺陷位置对应的第四图片；

基于所述缺陷位置信息，从所述第三图片中裁剪出缺陷位置对应的第五图片；

将所述第四图片和所述第五图片进行按位与运算获得第六图片；

将所述第五图片减去所述第六图片获得缺陷位置对应的缺陷二值图。

5.根据权利要求1所述的产品缺陷严重程度测量方法，其特征在于，所述方法中提取电极线的方式为；

在第二图片中，统计不同X轴坐标下Y轴方向的像素分布情况，获得统计结果；

基于所述统计结果获得Y轴方向上像素最多对应的第一X轴坐标信息；

基于电极线间的间距值和所述第一X轴坐标信息，从所述第二图片中提取出所有电极线。

6.根据权利要求1所述的产品缺陷严重程度测量方法，其特征在于，若缺陷严重值大于或等于阈值，则判断产品缺陷严重程度为严重缺陷，否则判断产品缺陷严重程度为普通缺陷。

7.产品缺陷严重程度测量系统，其特征在于，所述系统包括：构建单元，用于构建产品缺陷识别模型；

第一获得单元，用于获得产品的第一图片；

二值化处理单元，用于将所述第一图片进行二值化处理获得第二图片；

提取单元，用于提取出第二图片中的电极线，获得第三图片；

第二获得单元，用于将所述第一图片输入所述产品缺陷识别模型，获得产品的缺陷位置信息；

第三获得单元，用于基于所述第二图片、所述第三图片和所述缺陷位置信息获得缺陷位置对应的缺陷二值图；

计算单元，用于基于所述缺陷二值图计算获得缺陷宽度；

第四获得单元，用于基于所述第三图片获得电极线宽度；

判断单元，用于基于所述缺陷宽度与所述电极线宽度计算获得缺陷严重值，基于所述缺陷严重值判断获得产品缺陷严重程度；

第四获得单元，用于判断提取出的所述电极线中是否存在残缺，若存在，则从提取出的电极线中取出完整的电极线，基于所述完整的电极线和电极线间的间距值，复制所述完整的电极线获得所述第三图片；以及用于判断提取出的所述电极线中是否存在宽度不合格的电极线，若存在，则利用标准电极线替换宽度不合格的电极线；

所述缺陷严重值的计算方式为：

ratio=length1/length2；

其中，ratio为缺陷严重值，length1为缺陷宽度，length2为电极线宽度。

8.产品缺陷严重程度测量装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1‑6中任意一个所述产品缺陷严重程度测量方法的步骤。

9.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1‑6中任意一个所述产品缺陷严重程度测量方法的步骤。

说明书

产品缺陷严重程度测量方法及系统及装置及介质

技术领域

[0001] 本发明涉及智能工业制造领域，具体地，涉及产品缺陷严重程度测量方法及系统及装置及介质。

背景技术

[0002] 工业面板制造过程中因其工艺波动、机台差异等因素会产生各种各样形态的缺陷，使用大量人力对缺陷严重程度进行肉眼判断，从而决定是否后续维修。工业2.0时代，越来越多的电子制造商开始采用人工智能ADC（自动缺陷分类系统）来取代人力进行缺陷定位，目前人工智能主流的目标检测模型对阵列面板制造过程产生的缺陷严重程度未能很好的判定。

[0003] 现有技术中的目标检测模型只能初步判断面板是否存在缺陷，但是并不能够准确的判断缺陷的严重程度，导致每次出现缺陷时均会产生告警，导致产线停产生产效率下降，而部分缺陷其实并不严重可以继续加工生产忽略该缺陷。

发明内容

[0004] 本发明目的是为了对产品缺陷的程度进行识别。

[0005] 为实现上述发明目的，本发明提供了产品缺陷严重程度测量方法，所述方法包括：

[0006] 构建产品缺陷识别模型；

[0007] 获得产品的第一图片；

[0008] 将所述第一图片进行二值化处理获得第二图片；

[0009] 提取出第二图片中的电极线，获得第三图片；

[0010] 将所述第一图片输入所述产品缺陷识别模型，获得产品的缺陷位置信息；

[0011] 基于所述第二图片、所述第三图片和所述缺陷位置信息获得缺陷位置对应的缺陷二值图；

[0012] 基于所述缺陷二值图计算获得缺陷宽度；

[0013] 基于所述第三图片获得电极线宽度；

[0014] 基于所述缺陷宽度与所述电极线宽度计算获得缺陷严重值，基于所述缺陷严重值判断获得产品缺陷严重程度。

[0015] 其中，本方法首先利用计算机视觉及应用技术构建了产品缺陷识别模型，然后利用该模型获得产品的缺陷位置信息，然后利用获得产品的缺陷位置信息提取出缺陷位置对应的缺陷二值图，然后利用缺陷位置对应的缺陷二值图获得缺陷宽度和电极线宽度，最后基于缺陷宽度与电极线宽度计算获得缺陷严重值，基于缺陷严重值判断获得产品缺陷严重程度，本方法能够对产品的缺陷程度进行准确的判断，进而能够根据判断结果有效的辅助生产加工系统进行生产加工。

[0016] 优选的，所述将所述第一图片进行二值化处理获得第二图片，具体包括：将所述第一图片转换到HSV空间，在HSV空间中的明度空间作自适应二值化处理得到所述第二图片。

[0017] 其中，若将原图做二值化不能有效的区分开前景和背景，而HSV空间更接近人的主观感受，原图的前景和背景亮度差异很大，背景偏暗，前景偏亮，转到HSV空间则很容易区分开前景和背景。

[0018] 优选的，所述产品缺陷识别模型的构建步骤包括：

[0019] 采集若干产品的图片获得样本数据集；

[0020] 对样本数据集中的产品缺陷进行标注获得训练数据集；

[0021] 利用所述训练数据集对卷积神经网络进行训练获得产品缺陷识别模型。

[0022] 优选的，所述基于所述第二图片、所述第三图片和所述缺陷位置信息获得缺陷位置对应的缺陷二值图，具体包括：

[0023] 基于所述缺陷位置信息，从所述第二图片中裁剪出缺陷位置对应的第四图片；

[0024] 基于所述缺陷位置信息，从所述第三图片中裁剪出缺陷位置对应的第五图片；

[0025] 将所述第四图片和所述第五图片进行按位与运算获得第六图片；

[0026] 将所述第五图片减去所述第六图片获得缺陷位置对应的缺陷二值图。

[0027] 其中，通过上述操作能够准确的获得缺陷位置的二值图。

[0028] 优选的，所述方法中提取电极线的方式为；

[0029] 在第二图片中，统计不同X轴坐标下Y轴方向的像素分布情况，获得统计结果；

[0030] 基于所述统计结果获得Y轴方向上像素最多对应的第一X轴坐标信息；

[0031] 基于电极线间的间距值和所述第一X轴坐标信息，从所述第二图片中提取出所有电极线。

[0032] 其中，根据产品制程，因为SD线（电极线）像素都超过最大像素的95%，所以统计出所有纵像素大于最大像素95%的部分，通过x方向间距阈值设定，提取出该张图片所有的SD线。

[0033] 优选的，从所述第二图片中提取出电极线后，所述方法还包括：

[0034] 判断提取出的所述电极线中是否存在残缺，若存在，则从提取出的电极线中取出完整的电极线，基于所述完整的电极线和电极线间的间距值，复制所述完整的电极线获得所述第三图片。

[0035] 优选的，从所述第二图片中提取出电极线后，所述方法还包括：

[0036] 判断提取出的所述电极线中是否存在宽度不合格的电极线，若存在，则利用标准电极线替换宽度不合格的电极线。

[0037] 其中，对特殊情况如SD线变细，SD线断线作特定的处理，也能够提取出完整的提取出SD线。SD断线处理方式为：先找出最后一条完整的SD线，统计SD线间距，向前递减间距画出所有的SD线。线细处理方式：若最小线宽小于标准线宽，则判断为SD线偏细，把偏细的SD线替换为标准的SD线。

[0038] 优选的，所述缺陷严重值的计算方式为：

[0039] ratio=length1/length2；

[0040] 其中，ratio为缺陷严重值，length1为缺陷宽度，length2为电极线宽度。

[0041] 优选的，若缺陷严重值大于或等于阈值，则判断产品缺陷严重程度为严重缺陷，否则判断产品缺陷严重程度为普通缺陷。

[0042] 其中，通过上述方式能够准确的计算出反应缺陷严重程度的缺陷严重值，而将缺陷严重值与阈值进行比较即可获得缺陷的严重程度测量结果。

[0043] 本发明还提供了产品缺陷严重程度测量系统，所述系统包括：

[0044] 构建单元，用于构建产品缺陷识别模型；

[0045] 第一获得单元，用于获得产品的第一图片；

[0046] 二值化处理单元，用于将所述第一图片进行二值化处理获得第二图片；

[0047] 提取单元，用于提取出第二图片中的电极线，获得第三图片；

[0048] 第二获得单元，用于将所述第一图片输入所述产品缺陷识别模型，获得产品的缺陷位置信息；

[0049] 第三获得单元，用于基于所述第二图片、所述第三图片和所述缺陷位置信息获得缺陷位置对应的缺陷二值图；

[0050] 计算单元，用于基于所述缺陷二值图计算获得缺陷宽度；

[0051] 第四获得单元，用于基于所述第三图片获得电极线宽度；

[0052] 判断单元，用于基于所述缺陷宽度与所述电极线宽度计算获得缺陷严重值，基于所述缺陷严重值判断获得产品缺陷严重程度。

[0053] 本发明还提供了产品缺陷严重程度测量装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述产品缺陷严重程度测量方法的步骤。

[0054] 本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现所述产品缺陷严重程度测量方法的步骤。

[0055] 本发明提供的一个或多个技术方案，至少具有如下技术效果或优点：

[0056] 本发明能够对产品的缺陷程度进行准确的测量。

附图说明

[0057] 此处所说明的附图用来提供对本发明实施例的进一步理解，构成本发明的一部分，并不构成对本发明实施例的限定；

[0058] 图1为产品缺陷严重程度测量方法的流程示意图；

[0059] 图2为工业面板二值化图片示意图；

[0060] 图3为SD线断线示意图；

[0061] 图4为SD线偏细示意图；

[0062] 图5为完整SD线示意图；

[0063] 图6为缺陷位置的原图二值图示意图；

[0064] 图7为SD线二值图示意图；

[0065] 图8为与操作后得到的二值图示意图；

[0066] 图9是缺陷二值图示意图；

[0067] 图10为产品缺陷严重程度测量系统的组成示意图；

[0068] 图11为产品缺陷严重程度测量系统的组成示意图。

具体实施方式

[0069] 为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在相互不冲突的情况下，本发明的实施例及实施例中的特征可以相互组合。

[0070] 在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述范围内的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。

[0071] 应当理解，本文使用的“系统”、“装置”、“单元”和/或“模组”是用于区分不同级别的不同组件、元件、部件、部分或装配的一种方法。然而，如果其他词语可实现相同的目的，则可通过其他表达来替换所述词语。

[0072] 如本说明书和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其它的步骤或元素。

[0073] 本说明书中使用了流程图用来说明根据本说明书的实施例的系统所执行的操作。应当理解的是，前面或后面操作不一定按照顺序来精确地执行。相反，可以按照倒序或同时处理各个步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。

[0074] 实施例一

[0075] 请参考图1，图1为产品缺陷严重程度测量方法的流程示意图，本发明提供了产品缺陷严重程度测量方法，所述方法包括：

[0076] 构建产品缺陷识别模型；

[0077] 获得产品的第一图片；

[0078] 将所述第一图片进行二值化处理获得第二图片；

[0079] 提取出第二图片中的电极线，获得第三图片；

[0080] 将所述第一图片输入所述产品缺陷识别模型，获得产品的缺陷位置信息；

[0081] 基于所述第二图片、所述第三图片和所述缺陷位置信息获得缺陷位置对应的缺陷二值图；

[0082] 基于所述缺陷二值图计算获得缺陷宽度；

[0083] 基于所述第三图片获得电极线宽度；

[0084] 基于所述缺陷宽度与所述电极线宽度计算获得缺陷严重值，基于所述缺陷严重值判断获得产品缺陷严重程度。

[0085] 下面举例对本实施例中的方法进行介绍：

[0086] 本实施例中的产品可以是各种产品，本实施例不对产品的具体类型进行限定，下面以产品是工业面板进行举例介绍。

[0087] 本实施例采用神经网络寻找缺陷位置，结合CV技术（计算机视觉及应用）提取出缺陷，并对缺陷的严重程度进行具体的量化判定，从而实现了深度学习对于面板制成过程中缺陷的严重程度判级的目的，不仅缩减了人力，而且提升了判级的准确率。

[0088] 本发明提出了基于神经网络(如：fasterrcnn，yolo等，本实施例不对具体的神经网络类型进行具体的限定)的一种用于面板阵列制程中缺陷严重程度检测方法，提升了ADC模型对于缺陷严重程度的判级能力。

[0089] 所述用于缺陷严重程度检测方法，包括步骤：

[0090] 将原图转HSV空间，在V亮度空间作自适应二值化得到二值化图片，如图2所示，原图指利用相机对产品进行拍摄获得的彩色图片；HSV(Hue, Saturation, Value)是根据颜色的直观特性由A. R. Smith在1978年创建的一种颜色空间，也称六角锥体模型(Hexcone Model)。这个模型中颜色的参数分别是：色调（H），饱和度（S），明度（V）。若直接将原图做二值化不能区分开前景和背景，而HSV空间更接近人的主观感受，原图的前景和背景亮度差异很大，背景偏暗，前景偏亮，转到V空间就很容易区分开了。

[0091] 从前面获得的二值化图片中提取纵向像素最多的SD线。根据工艺制成，SD线的Y方向像素和是大于最大像素的95%的。（SD线就是图2中的纵向的有周期性的线）纵向像素累加求出最值，根据制程，因为SD线像素都超过最大像素的95%，所以统计出所有纵像素大于最大像素95%的部分，通过x方向间距阈值设定，提取出该张图片所有的SD线。并对特殊情况如SD线变细，SD线断线作特定的处理，也能够提取出完整的提取出SD线。如图3至图5所示，图3为SD线断线的情况，图4为SD线偏细的情况，图5为完整的SD线。SD断线处理方式为：先找出最后一条完整的SD线，统计SD线间距，向前递减间距画出所有的SD线。SD线细处理方式：若最小线宽小于标准线宽6个像素(产线中的经验值)，则判断为SD线偏细，把偏细的SD线替换为标准的SD线。

[0092] 通过训练过的卷积神经网络输出缺陷位置格式为[x1,y1,x2,y2]缺陷位置左上角和右下角坐标，裁剪出缺陷位置的原图二值图（如图6所示）和SD线二值图（如图7所示），通过opencv中的与操作（cv2.bitwise_and）得到（如图8所示），再用（图7）减去（图8）得到缺陷二值图（如图9所示）。

[0093] bitwise_and( )是对二进制数据进行“与”操作，即对图像（灰度图像或彩色图像均可）每个像素值进行二进制“与”操作，1&1=1，1&0=0，0&1=0，0&0=0。图中黑色是0，白色是1 ，白与白是白，白与黑是黑，黑与黑是黑。

[0094] 对缺陷二值图进行轮廓提取，计算缺陷宽度length1。同时横向对SD线二值图（如图7所示）作横向像素（X轴方向）累加得到线宽length2。其中轮廓提取可以采用cv2.findcontours 函数实现。

[0095] 计算ratio=length1/length2,通过ratio和设定阈值比较（如0.75），大于该阈值判定为严重缺陷，否则为不严重。通常生产过程中如果缺陷占比超过3/4，会造成线路无法导电等情况，必须进行维修。

[0096] 请参考图10，图10为产品缺陷严重程度测量在实际应用中的整体流程示意图，如图10所示，本方案的具体流程为：首先在产线上拍照获得原始图片，原始图片分为两个路径进行处理，第一条路径为输入CNN深度学习模型中进行处理，对原始图片中具有缺陷的面板图片进行标注，获得标注数据，然后利用标注数据对CNN深度学习模型进行训练，获得缺陷识别模型，CNN深度学习模型的处理流程为利用卷积层和池化层进行特征提取，然后利用全连接层对提取的特征进行处理，然后利用bbox坐标模块获得坐标，最后利用坐标信息输出缺陷坐标；第二条路径为原始图片和缺陷识别模型输出的缺陷坐标进行HSV空间V空间二值化处理，然后提取出SD线，利用提取出的SD线计算出线宽以及对提取出的SD线进行缺陷裁剪，计算缺陷宽度，然后计算缺陷宽度与SD先的线宽占比，若比值大于阈值则判断为严重缺陷，若比值小于阈值则判断缺陷不严重。

[0097] 然后获得待处理的面板图像并输入到上述模型中进行后续的缺陷程度判断处理，请老师确认是否描述合理。

[0098] 实施例二

[0099] 请参考图11，图11为产品缺陷严重程度测量系统的组成示意图，本发明实施例二提供了产品缺陷严重程度测量系统，所述系统包括：

[0100] 构建单元，用于构建产品缺陷识别模型；

[0101] 第一获得单元，用于获得产品的第一图片；

[0102] 二值化处理单元，用于将所述第一图片进行二值化处理获得第二图片；

[0103] 提取单元，用于提取出第二图片中的电极线，获得第三图片；

[0104] 第二获得单元，用于将所述第一图片输入所述产品缺陷识别模型，获得产品的缺陷位置信息；

[0105] 第三获得单元，用于基于所述第二图片、所述第三图片和所述缺陷位置信息获得缺陷位置对应的缺陷二值图；

[0106] 计算单元，用于基于所述缺陷二值图计算获得缺陷宽度；

[0107] 第四获得单元，用于基于所述第三图片获得电极线宽度；

[0108] 判断单元，用于基于所述缺陷宽度与所述电极线宽度计算获得缺陷严重值，基于所述缺陷严重值判断获得产品缺陷严重程度。

[0109] 实施例三

[0110] 本发明实施例三提供了产品缺陷严重程度测量装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述产品缺陷严重程度测量方法的步骤。

[0111] 实施例四

[0112] 本发明实施例四提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现所述产品缺陷严重程度测量方法的步骤。

[0113] 其中，所述处理器可以是中央处理器（CPU，Central Processing Unit），还可以是其他通用处理器、数字信号处理器（digital signal processor）、专用集成电路（Application Specific Integrated Circuit）、现成可编程门阵列（Fieldprogrammable gate array）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

[0114] 所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的数据，实现发明中产品缺陷严重程度测量装置的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序（比如声音播放功能、图像播放功能等）等。此外，存储器可以包括高速随机存取存储器、还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡，安全数字卡，闪存卡、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

[0115] 所述产品缺陷严重程度测量装置如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序可存储于一计算机可读存介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码、对象代码形式、可执行文件或某些中间形式等。所述计算机可读取介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器、随机存储器、点载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减。

[0116] 本发明已对基本概念做了描述，显然，对于本领域技术人员来说，上述详细披露仅仅作为示例，而并不构成对本说明书的限定。虽然此处并没有明确说明，本领域技术人员可能会对本说明书进行各种修改、改进和修正。该类修改、改进和修正在本说明书中被建议，所以该类修改、改进、修正仍属于本说明书示范实施例的精神和范围。

[0117] 同时，本说明书使用了特定词语来描述本说明书的实施例。如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本说明书至少一个实施例相关的某一特征、结构或特点。因此，应强调并注意的是，本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一个替代性实施例”并不一定是指同一实施例。此外，本说明书的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。

[0118] 此外，本领域技术人员可以理解，本说明书的各方面可以通过若干具有可专利性的种类或情况进行说明和描述，包括任何新的和有用的工序、机器、产品或物质的组合，或对他们的任何新的和有用的改进。相应地，本说明书的各个方面可以完全由硬件执行、可以完全由软件(包括固件、常驻软件、微码等)执行、也可以由硬件和软件组合执行。以上硬件或软件均可被称为“数据块”、“模块”、“引擎”、“单元”、“组件”或“系统”。此外，本说明书的各方面可能表现为位于一个或多个计算机可读介质中的计算机产品，该产品包括计算机可读程序编码。

[0119] 计算机存储介质可能包含一个内含有计算机程序编码的传播数据信号，例如在基带上或作为载波的一部分。该传播信号可能有多种表现形式，包括电磁形式、光形式等，或合适的组合形式。计算机存储介质可以是除计算机可读存储介质之外的任何计算机可读介质，该介质可以通过连接至一个指令执行系统、装置或设备以实现通讯、传播或传输供使用的程序。位于计算机存储介质上的程序编码可以通过任何合适的介质进行传播，包括无线电、电缆、光纤电缆、RF、或类似介质，或任何上述介质的组合。

[0120] 本说明书各部分操作所需的计算机程序编码可以用任意一种或多种程序语言编写，包括面向对象编程语言如Java、Scala、Smalltalk、Eiffel、JADE、Emerald、C++、C#、VB.NET、Python等，常规程序化编程语言如C语言、Visual Basic、Fortran 2003、Perl、COBOL 2002、PHP、ABAP，动态编程语言如Python、Ruby和Groovy，或其他编程语言等。该程序编码可以完全在用户计算机上运行、或作为独立的软件包在用户计算机上运行、或部分在用户计算机上运行部分在远程计算机运行、或完全在远程计算机或服务器上运行。在后种情况下，远程计算机可以通过任何网络形式与用户计算机连接，比如局域网(LAN)或广域网(WAN)，或连接至外部计算机(例如通过因特网)，或在云计算环境中，或作为服务使用如软件即服务(SaaS)。

[0121] 此外，除非权利要求中明确说明，本说明书所述处理元素和序列的顺序、数字字母的使用、或其他名称的使用，并非用于限定本说明书流程和方法的顺序。尽管上述披露中通过各种示例讨论了一些目前认为有用的发明实施例，但应当理解的是，该类细节仅起到说明的目的，附加的权利要求并不仅限于披露的实施例，相反，权利要求旨在覆盖所有符合本说明书实施例实质和范围的修正和等价组合。例如，虽然以上所描述的系统组件可以通过硬件设备实现，但是也可以只通过软件的解决方案得以实现，如在现有的服务器或移动设备上安装所描述的系统。

[0122] 同理，应当注意的是，为了简化本说明书披露的表述，从而帮助对一个或多个发明实施例的理解，前文对本说明书实施例的描述中，有时会将多种特征归并至一个实施例、附图或对其的描述中。但是，这种披露方法并不意味着本说明书对象所需要的特征比权利要求中提及的特征多。实际上，实施例的特征要少于上述披露的单个实施例的全部特征。

[0123] 针对本说明书引用的每个专利、专利申请、专利申请公开物和其他材料，如文章、书籍、说明书、出版物、文档等，特此将其全部内容并入本说明书作为参考。与本说明书内容不一致或产生冲突的申请历史文件除外，对本说明书权利要求最广范围有限制的文件(当前或之后附加于本说明书中的)也除外。需要说明的是，如果本说明书附属材料中的描述、定义、和/或术语的使用与本说明书所述内容有不一致或冲突的地方，以本说明书的描述、定义和/或术语的使用为准。

[0124] 尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

[0125] 显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。