基于机器视觉的包装缺陷识别方法、系统、设备及介质

摘要

本公开提供一种基于机器视觉的包装缺陷识别方法、系统、设备及介质，包括获取包装产品线上多个包装图像，将多个包装图像转换为多个包装灰度图像，并且确定多个包装灰度图像中各个第一像素点对应的灰度值；将多个包装灰度图像进行图像增强，得到包装增强图像；基于所述包装增强图像中各个第二像素点与其相邻像素点的第一像素偏差值，将包装增强图像分割为目标区域与背景区域；提取目标区域的图像特征，并根据图像特征进行缺陷检测，确定目标区域的缺陷类别，并根据缺陷类别进行缺陷处理。本公开能够准确识别包装中的缺陷，并且能够根据缺陷类别进行缺陷处理。

权利要求

1.一种基于机器视觉的包装缺陷识别方法，其特征在于，包括：获取包装产品线上多个包装图像，将所述多个包装图像转换为多个包装灰度图像，并且确定所述多个包装灰度图像中各个第一像素点对应的灰度值；

将灰度值小于预设像素梯度阈值的第一像素点通过第一图像增强模型进行图像增强，将灰度值大于预设像素梯度阈值的第一像素点通过第二图像增强模型进行图像增强，得到包装增强图像，其中，所述第一图像增强模型用于对所述灰度图像中非边缘区域进行图像增强，所述第二图像增强模型用于对所述灰度图像中边缘区域进行图像增强；

基于所述包装增强图像中各个第二像素点与其相邻像素点的第一像素偏差值，将所述包装增强图像分割为目标区域与背景区域；

提取所述目标区域的图像特征，并根据所述图像特征进行缺陷检测，确定所述目标区域的缺陷类别，并根据所述缺陷类别进行缺陷处理；

所述将灰度值小于预设像素梯度阈值的第一像素点通过第一图像增强模型进行图像增强，将灰度值大于预设像素梯度阈值的第一像素点通过第二图像增强模型进行图像增强，得到包装增强图像包括：所述将灰度值小于预设像素梯度阈值的第一像素点通过第一图像增强模型进行图像增强包括：若所述第一像素点的灰度值小于预设像素梯度阈值，对所述第一像素点进行高斯滤波，确定高斯滤波后第一像素点图像梯度的局部估计；

根据所述图像梯度的局部估计，通过以高斯滤波后第一像素点的标准差为高斯核的高斯函数与所述局部估计进行卷积，设定图像卷积的扩散程度；

根据所述图像卷积的扩散程度，对所述第一像素点按照预设迭代次数进行高斯滤波，实现第一图像增强；

所述将灰度值小于预设像素梯度阈值的第一像素点通过第一图像增强模型进行图像增强，将灰度值大于预设像素梯度阈值的第一像素点通过第二图像增强模型进行图像增强，得到包装增强图像还包括：将灰度值大于预设像素梯度阈值的第一像素点通过第二图像增强模型进行图像增强包括：确定灰度值大于预设像素梯度阈值的第一像素点的像素值与预设像素梯度阈值的第二像素偏差值，根据所述第二像素偏差值设定像素边界值以及像素扩散值；

根据所设定的像素边界值，将所述灰度值大于预设像素梯度阈值的第一像素点切分为多个均匀网格点；

根据所述像素扩散值对所述多个均匀网格点进行横向和纵向的扩散，实现第二图像增强；

所述基于所述包装增强图像中各个第二像素点与其相邻像素点的第一像素偏差值，将所述包装增强图像分割为目标区域与背景区域包括：基于所述包装增强图像中各个第二像素点与其相邻像素点的第一像素偏差值，以及各个第二像素点与其相邻像素点的像素位置，确定所述各个第二像素点与其相邻像素点的像素关联值；

确定所述各个第二像素点的灰度特征，根据所述第二像素点的灰度特征以及所述像素关联值确定所述包装增强图像的综合像素阈值；

分别将所述包装增强图像中各个第二像素点与所述综合像素阈值进行比较，将第二像素点的像素值大于所述综合像素阈值的像素点分割为目标区域，将第二像素点的像素值小于所述综合像素阈值的像素点分割为背景区域；

所述根据所述第二像素点的灰度特征以及所述像素关联值确定所述包装增强图像的综合像素阈值的方法包括：按照如下公式确定所述综合像素阈值：  ；

；其中，Zr表示综合像素阈值，R(x,y)表

示像素关联值，M、N分别表示第二像素点的位置信息的横坐标和纵坐标对应的像素点数，(x,y)表示第二像素点的位置信息，R(x,y)表示像素关联值，k表示偏移阈值，(m,n)表示滑动窗口内相邻像素和要处理位置像素的偏移像素值，f(·)表示相邻像素属于同一类型概率函数；

所述图像特征包括角度特征、灰度值特征、纹理特征、形状特征中至少一种，所述提取所述目标区域的图像特征，并根据所述图像特征进行缺陷检测，确定所述目标区域的缺陷类别包括：根据所提取的所述目标区域的所有图像特征，确定所述目标区域的向量均值；

按照预设步长通过特征窗口滑动选取所述目标区域的图像特征，根据所述图像特征以及所述向量均值，确定所述目标区域中各个图像特征与所述向量均值对应的像素距离；

根据各个像素距离与预设距离阈值的比较关系，确定所述目标区域是否存在缺陷，若所述目标区域存在缺陷，则通过决策树算法确定所述目标区域对应的缺陷类别；

所述根据所述图像特征以及所述向量均值，确定所述目标区域中各个图像特征与所述向量均值对应的像素距离包括：按照如下公式确定像素距离： ；

其中，Di表示第i个图像特征与向量均值对应的像素距离，Xi表示所有图像特征中第i个图像特征向量，V表示向量均值，F表示目标区域中各个图像特征的协方差，p表示特征窗口的序号，C表示特征窗口的大小，n表示图像特征的个数。

2.一种基于机器视觉的包装缺陷识别系统，其特征在于，包括：第一单元，用于获取包装产品线上多个包装图像，将所述多个包装图像转换为多个包装灰度图像，并且确定所述多个包装灰度图像中各个第一像素点对应的灰度值；

第二单元，用于将灰度值小于预设像素梯度阈值的第一像素点通过第一图像增强模型进行图像增强，将灰度值大于预设像素梯度阈值的第一像素点通过第二图像增强模型进行图像增强，得到包装增强图像，其中，所述第一图像增强模型用于对所述灰度图像中非边缘区域进行图像增强，所述第二图像增强模型用于对所述灰度图像中边缘区域进行图像增强；

第三单元，用于基于所述包装增强图像中各个第二像素点与其相邻像素点的第一像素偏差值，将所述包装增强图像分割为目标区域与背景区域；

第四单元，用于提取所述目标区域的图像特征，并根据所述图像特征进行缺陷检测，确定所述目标区域的缺陷类别，并根据所述缺陷类别进行缺陷处理；

所述第二单元还用于：

所述将灰度值小于预设像素梯度阈值的第一像素点通过第一图像增强模型进行图像增强包括：若所述第一像素点的灰度值小于预设像素梯度阈值，对所述第一像素点进行高斯滤波，确定高斯滤波后第一像素点图像梯度的局部估计；

根据所述图像梯度的局部估计，通过以高斯滤波后第一像素点的标准差为高斯核的高斯函数与所述局部估计进行卷积，设定图像卷积的扩散程度；

根据所述图像卷积的扩散程度，对所述第一像素点按照预设迭代次数进行高斯滤波，实现第一图像增强；

所述第二单元还用于：

将灰度值大于预设像素梯度阈值的第一像素点通过第二图像增强模型进行图像增强包括：确定灰度值大于预设像素梯度阈值的第一像素点的像素值与预设像素梯度阈值的第二像素偏差值，根据所述第二像素偏差值设定像素边界值以及像素扩散值；

根据所设定的像素边界值，将所述灰度值大于预设像素梯度阈值的第一像素点切分为多个均匀网格点；

根据所述像素扩散值对所述多个均匀网格点进行横向和纵向的扩散，实现第二图像增强；

所述第三单元还用于：

基于所述包装增强图像中各个第二像素点与其相邻像素点的第一像素偏差值，以及各个第二像素点与其相邻像素点的像素位置，确定所述各个第二像素点与其相邻像素点的像素关联值；

确定所述各个第二像素点的灰度特征，根据所述第二像素点的灰度特征以及所述像素关联值确定所述包装增强图像的综合像素阈值；

分别将所述包装增强图像中各个第二像素点与所述综合像素阈值进行比较，将第二像素点的像素值大于所述综合像素阈值的像素点分割为目标区域，将第二像素点的像素值小于所述综合像素阈值的像素点分割为背景区域；

所述第三单元还用于：

按照如下公式确定所述综合像素阈值： ；

；其中，Zr表示综合像素阈值，R(x,y)

表示像素关联值，M、N分别表示第二像素点的位置信息的横坐标和纵坐标对应的像素点数，(x,y)表示第二像素点的位置信息，R(x,y)表示像素关联值，k表示偏移阈值，(m,n)表示滑动窗口内相邻像素和要处理位置像素的偏移像素值，f(·)表示相邻像素属于同一类型概率函数；

所述第四单元还用于：

根据所提取的所述目标区域的所有图像特征，确定所述目标区域的向量均值；

按照预设步长通过特征窗口滑动选取所述目标区域的图像特征，根据所述图像特征以及所述向量均值，确定所述目标区域中各个图像特征与所述向量均值对应的像素距离；

根据各个像素距离与预设距离阈值的比较关系，确定所述目标区域是否存在缺陷，若所述目标区域存在缺陷，则通过决策树算法确定所述目标区域对应的缺陷类别；

所述第四单元还用于：

按照如下公式确定像素距离： ；

；其中，Di表示第i个图像特征与向量均值对应的像素距离，Xi表示所有图像特征中第i个图像特征向量，V表示向量均值，F表示目标区域中各个图像特征的协方差，p表示特征窗口的序号，C表示特征窗口的大小，n表示图像特征的个数。

3.一种设备，其特征在于，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为调用所述存储器存储的指令，以执行权利要求1所述的基于机器视觉的包装缺陷识别方法。

4.一种计算机可读存储介质，其上存储有计算机程序指令，其特征在于，所述计算机程序指令被处理器执行时实现权利要求1所述的基于机器视觉的包装缺陷识别方法。

说明书

基于机器视觉的包装缺陷识别方法、系统、设备及介质

技术领域

[0001] 本公开涉及缺陷检测技术领域，尤其涉及一种基于机器视觉的包装缺陷识别方法、系统、设备及介质。

背景技术

[0002] 当前包装机存在袋材供送线路较长，供送速度控制精度和稳定性低的问题，受到外部干扰时容易出现较大的波动，由于机械振动或其他环境因素会造成包装破损、空囊、褶皱等质量问题，这样就会影响到包装袋的精度和外观质量。随着包装袋开始向精品化，高端化等方向发展，为了保证食品安全和商品的口碑，需要将包装袋中的残次品挑拣出来。

[0003] 基于机器视觉的袋泡茶包缺陷检测方法，浙江工业大学学报，第43卷第2期，采集茶包图像后，通过采用最大类间差寻找最优阈值对茶包图像进行分割，得到去除背景的茶包图，分别针对茶包的缺陷采用针对的缺陷检测方法进行缺陷检测。

[0004] 但是现有技术所采用的最大类间差寻找最优阈值，阈值取值范围往往难以确定，涉及的计算量较大，并且得到的最优阈值并不准确，对于图像分割会造成目标图像与背景图像分割不准；此外，现有技术所针对的茶包类别较为固定，基本都是根据茶包是否是规则形状进行判断，应用场景局限性较大，对于不规则类型的茶包，难以进行图像分割，导致无法判断是否存在缺陷。

[0005] 公开于本申请背景技术部分的信息仅仅旨在加深对本申请的一般背景技术的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域技术人员所公知的现有技术。

发明内容

[0006] 本公开实施例提供一种基于机器视觉的包装缺陷识别方法、系统、设备及介质，能够解决现有技术中图像分割不准，且应用场景局限性较大的问题。

[0007] 本公开实施例的第一方面，

[0008] 提供一种基于机器视觉的包装缺陷识别方法，包括：

[0009] 获取包装产品线上多个包装图像，将所述多个包装图像转换为多个包装灰度图像，并且确定所述多个包装灰度图像中各个第一像素点对应的灰度值；

[0010] 将灰度值小于预设像素梯度阈值的第一像素点通过第一图像增强模型进行图像增强，将灰度值大于预设像素梯度阈值的第一像素点通过第二图像增强模型进行图像增强，得到包装增强图像，其中，所述第一图像增强模型用于对所述灰度图像中非边缘区域进行图像增强，所述第二图像增强模型用于对所述灰度图像中边缘区域进行图像增强；

[0011] 基于所述包装增强图像中各个第二像素点与其相邻像素点的第一像素偏差值，将所述包装增强图像分割为目标区域与背景区域；

[0012] 提取所述目标区域的图像特征，并根据所述图像特征进行缺陷检测，确定所述目标区域的缺陷类别，并根据所述缺陷类别进行缺陷处理。

[0013] 在一种可选的实施方式中，

[0014] 所述将灰度值小于预设像素梯度阈值的第一像素点通过第一图像增强模型进行图像增强，将灰度值大于预设像素梯度阈值的第一像素点通过第二图像增强模型进行图像增强，得到包装增强图像包括：

[0015] 所述将灰度值小于预设像素梯度阈值的第一像素点通过第一图像增强模型进行图像增强包括：

[0016] 若所述第一像素点的灰度值小于预设像素梯度阈值，对所述第一像素点进行高斯滤波，确定高斯滤波后第一像素点图像梯度的局部估计；

[0017] 根据所述图像梯度的局部估计，通过以高斯滤波后第一像素点的标准差为高斯核的高斯函数与所述局部估计进行卷积，设定图像卷积的扩散程度；

[0018] 根据所述图像卷积的扩散程度，对所述第一像素点按照预设迭代次数进行高斯滤波，实现第一图像增强。

[0019] 在一种可选的实施方式中，

[0020] 所述将灰度值小于预设像素梯度阈值的第一像素点通过第一图像增强模型进行图像增强，将灰度值大于预设像素梯度阈值的第一像素点通过第二图像增强模型进行图像增强，得到包装增强图像还包括：

[0021] 将灰度值大于预设像素梯度阈值的第一像素点通过第二图像增强模型进行图像增强包括：

[0022] 确定灰度值大于预设像素梯度阈值的第一像素点的像素值与预设像素梯度阈值的第二像素偏差值，根据所述第二像素偏差值设定像素边界值以及像素扩散值；

[0023] 根据所设定的像素边界值，将所述灰度值大于预设像素梯度阈值的第一像素点切分为多个均匀网格点；

[0024] 根据所述像素扩散值对所述多个均匀网格点进行横向和纵向的扩散，实现第二图像增强。

[0025] 在一种可选的实施方式中，

[0026] 所述基于所述包装增强图像中各个第二像素点与其相邻像素点的第一像素偏差值，将所述包装增强图像分割为目标区域与背景区域包括：

[0027] 基于所述包装增强图像中各个第二像素点与其相邻像素点的第一像素偏差值，以及各个第二像素点与其相邻像素点的像素位置，确定所述各个第二像素点与其相邻像素点的像素关联值；

[0028] 确定所述各个第二像素点的灰度特征，根据所述第二像素点的灰度特征以及所述像素关联值确定所述包装增强图像的综合像素阈值；

[0029] 分别将所述包装增强图像中各个第二像素点与所述综合像素阈值进行比较，将第二像素点的像素值大于所述综合像素阈值的像素点分割为目标区域，将第二像素点的像素值小于所述综合像素阈值的像素点分割为背景区域。

[0030] 在一种可选的实施方式中，

[0031] 所述根据所述第二像素点的灰度特征以及所述像素关联值确定所述包装增强图像的综合像素阈值的方法包括：

[0032] 按照如下公式确定所述综合像素阈值：

[0033]

[0034]

[0035] 其中，Zr表示综合像素阈值，R(x,y)表示像素关联值，M、N分别表示第二像素点的位置信息的横坐标和纵坐标对应的像素点数，(x,y)表示第二像素点的位置信息，R(x,y)表示像素关联值，k表示偏移阈值，(m,n)表示滑动窗口内相邻像素和要处理位置像素的偏移像素值，f(·)表示相邻像素属于同一类型概率函数。

[0036] 在一种可选的实施方式中，所述图像特征包括角度特征、灰度值特征、纹理特征、形状特征中至少一种，

[0037] 所述提取所述目标区域的图像特征，并根据所述图像特征进行缺陷检测，确定所述目标区域的缺陷类别包括：

[0038] 根据所提取的所述目标区域的所有图像特征，确定所述目标区域的向量均值；

[0039] 按照预设步长通过特征窗口滑动选取所述目标区域的图像特征，根据所述图像特征以及所述向量均值，确定所述目标区域中各个图像特征与所述向量均值对应的像素距离；

[0040] 根据各个像素距离与预设距离阈值的比较关系，确定所述目标区域是否存在缺陷，

[0041] 若所述目标区域存在缺陷，则通过决策树算法确定所述目标区域对应的缺陷类别。

[0042] 在一种可选的实施方式中，

[0043] 所述根据所述图像特征以及所述向量均值，确定所述目标区域中各个图像特征与所述向量均值对应的像素距离包括：

[0044] 按照如下公式确定像素距离：

[0045]

[0046]

[0047] 其中，Di表示第i个图像特征与向量均值对应的像素距离，Xi表示所有图像特征中第i个图像特征向量，V表示向量均值，F表示目标区域中各个图像特征的协方差，p表示特征窗口的序号，C表示特征窗口的大小，n表示图像特征的个数。

[0048] 本公开实施例的第二方面，

[0049] 提供一种基于机器视觉的包装缺陷识别系统，包括：

[0050] 第一单元，用于获取包装产品线上多个包装图像，将所述多个包装图像转换为多个包装灰度图像，并且确定所述多个包装灰度图像中各个第一像素点对应的灰度值；

[0051] 第二单元，用于将灰度值小于预设像素梯度阈值的第一像素点通过第一图像增强模型进行图像增强，将灰度值大于预设像素梯度阈值的第一像素点通过第二图像增强模型进行图像增强，得到包装增强图像，其中，所述第一图像增强模型用于对所述灰度图像中非边缘区域进行图像增强，所述第二图像增强模型用于对所述灰度图像中边缘区域进行图像增强；

[0052] 第三单元，用于基于所述包装增强图像中各个第二像素点与其相邻像素点的第一像素偏差值，将所述包装增强图像分割为目标区域与背景区域；

[0053] 第四单元，用于提取所述目标区域的图像特征，并根据所述图像特征进行缺陷检测，确定所述目标区域的缺陷类别，并根据所述缺陷类别进行缺陷处理。

[0054] 在一种可选的实施方式中，

[0055] 所述第二单元还用于：

[0056] 所述将灰度值小于预设像素梯度阈值的第一像素点通过第一图像增强模型进行图像增强包括：

[0057] 若所述第一像素点的灰度值小于预设像素梯度阈值，对所述第一像素点进行高斯滤波，确定高斯滤波后第一像素点图像梯度的局部估计；

[0058] 根据所述图像梯度的局部估计，通过以高斯滤波后第一像素点的标准差为高斯核的高斯函数与所述局部估计进行卷积，设定图像卷积的扩散程度；

[0059] 根据所述图像卷积的扩散程度，对所述第一像素点按照预设迭代次数进行高斯滤波，实现第一图像增强。

[0060] 在一种可选的实施方式中，

[0061] 所述第二单元还用于：

[0062] 将灰度值大于预设像素梯度阈值的第一像素点通过第二图像增强模型进行图像增强包括：

[0063] 确定灰度值大于预设像素梯度阈值的第一像素点的像素值与预设像素梯度阈值的第二像素偏差值，根据所述第二像素偏差值设定像素边界值以及像素扩散值；

[0064] 根据所设定的像素边界值，将所述灰度值大于预设像素梯度阈值的第一像素点切分为多个均匀网格点；

[0065] 根据所述像素扩散值对所述多个均匀网格点进行横向和纵向的扩散，实现第二图像增强。

[0066] 在一种可选的实施方式中，

[0067] 所述第三单元还用于：

[0068] 基于所述包装增强图像中各个第二像素点与其相邻像素点的第一像素偏差值，以及各个第二像素点与其相邻像素点的像素位置，确定所述各个第二像素点与其相邻像素点的像素关联值；

[0069] 确定所述各个第二像素点的灰度特征，根据所述第二像素点的灰度特征以及所述像素关联值确定所述包装增强图像的综合像素阈值；

[0070] 分别将所述包装增强图像中各个第二像素点与所述综合像素阈值进行比较，将第二像素点的像素值大于所述综合像素阈值的像素点分割为目标区域，将第二像素点的像素值小于所述综合像素阈值的像素点分割为背景区域。

[0071] 在一种可选的实施方式中，

[0072] 所述第三单元还用于：

[0073] 按照如下公式确定所述综合像素阈值：

[0074]

[0075]

[0076] 其中，Zr表示综合像素阈值，R(x,y)表示像素关联值，M、N分别表示第二像素点的位置信息的横坐标和纵坐标对应的像素点数，(x,y)表示第二像素点的位置信息，R(x,y)表示像素关联值，k表示偏移阈值，(m,n)表示滑动窗口内相邻像素和要处理位置像素的偏移像素值，f(·)表示相邻像素属于同一类型概率函数。

[0077] 在一种可选的实施方式中，

[0078] 所述第四单元还用于：

[0079] 根据所提取的所述目标区域的所有图像特征，确定所述目标区域的向量均值；

[0080] 按照预设步长通过特征窗口滑动选取所述目标区域的图像特征，根据所述图像特征以及所述向量均值，确定所述目标区域中各个图像特征与所述向量均值对应的像素距离；

[0081] 根据各个像素距离与预设距离阈值的比较关系，确定所述目标区域是否存在缺陷，

[0082] 若所述目标区域存在缺陷，则通过决策树算法确定所述目标区域对应的缺陷类别。

[0083] 在一种可选的实施方式中，

[0084] 所述第四单元还用于：

[0085] 按照如下公式确定像素距离：

[0086]

[0087]

[0088] 其中，Di表示第i个图像特征与向量均值对应的像素距离，Xi表示所有图像特征中第i个图像特征向量，V表示向量均值，F表示目标区域中各个图像特征的协方差，p表示特征窗口的序号，C表示特征窗口的大小，n表示图像特征的个数。

[0089] 本公开实施例的第三方面，

[0090] 提供一种设备，包括：

[0091] 处理器；

[0092] 用于存储处理器可执行指令的存储器；

[0093] 其中，所述处理器被配置为调用所述存储器存储的指令，以执行前述所述的方法。

[0094] 本公开实施例的第四方面，

[0095] 提供一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现前述所述的方法。

[0096] 本公开的基于机器视觉的包装缺陷识别方法，

[0097] 通过将包装灰度图像中第一像素点与预设像素梯度阈值进行比较，并且根据比较结果，分别进行第一图像增强和第二图像增强，针对包装灰度图像中不同区域，分别采用不同的图像增强方法，将图像增强的过程看成一个随时间演化的问题，实现了在图像的不同的尺度上进行扩散：并且通过函数自动调整扩散因子，从而达到保留图像边缘信息的目的；

[0098] 根据包装增强图像中的像素点信息，确定像素点与其相邻像素点的像素关联值，不仅利用了正常灰度信息，还利用到图像像素中的邻域均值灰度信息，并且确定包装增强图像的综合像素阈值，减少区域分割中可能受到的噪声影响，并且使区域分割过程在更快的时间内得以完成。

附图说明

[0099] 图1为本公开实施例基于机器视觉的包装缺陷识别方法的流程示意图；

[0100] 图2为本公开实施例包装缺陷的示意图；

[0101] 图3为本公开实施例一种进行图像增强的流程示意图；

[0102] 图4为本公开实施例另一种进行图像增强的流程示意图；

[0103] 图5为本公开实施例进行图像分割的流程示意图；

[0104] 图6为本公开实施例基于机器视觉的包装缺陷识别系统的结构示意图。

具体实施方式

[0105] 为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。

[0106] 本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等（如果存在）是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。

[0107] 应当理解，在本公开的各种实施例中，各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本公开实施例的实施过程构成任何限定。

[0108] 应当理解，在本公开中，“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

[0109] 应当理解，在本公开中，“多个”是指两个或两个以上。“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。“包含A、B和C”、“包含A、B、C”是指A、B、C三者都包含，“包含A、B或C”是指包含A、B、C三者之一，“包含A、B和/或C”是指包含A、B、C三者中任1个或任2个或3个。

[0110] 应当理解，在本公开中，“与A对应的B”、“与A相对应的B”、“A与B相对应”或者“B与A相对应”，表示B与A相关联，根据A可以确定B。根据A确定B并不意味着仅仅根据A确定B，还可以根据A和/或其他信息确定B。A与B的匹配，是A与B的相似度大于或等于预设的阈值。

[0111] 取决于语境，如在此所使用的“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。

[0112] 下面以具体地实施例对本公开的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。

[0113] 图1为本公开实施例基于机器视觉的包装缺陷识别方法的流程示意图，如图1所示，所述方法包括：

[0114] S101、获取包装产品线上多个包装图像，将所述多个包装图像转换为多个包装灰度图像，并且确定所述多个包装灰度图像中各个第一像素点对应的灰度值；

[0115] 机器视觉(machine vision) 属于一种人工智能技术，通过以图像拍摄设备与图像处理功能分别替代人眼功能与人脑功能，分析产品信息并提取产品的目标色素，实现对生产过程的有效操控。机器视觉中的图像拍摄设备通过微波与红外等扫描技术,实现对人眼不能查看的区间的勘测，令视觉区间扩大,且其不与所拍摄的产品直接接触，提升了产品与设备的安全性。并且机器视觉的机器具有较高的稳定性,能够在恶劣的空间内长久运行,且其运行效率与识别准确度不受干扰的。

[0116] 本公开实施例可通过安装于包装产品线上的摄像头获取多个包装图像，并且可以将多个包装图像转换为多个包装灰度图像，其中，可通过二值化算法将包装图像转换为多个包装灰度图像，从而降低后续处理压力。

[0117] 其中，第一像素点用于指示包装灰度图像中各个像素点，可以进一步确定包装灰度图像中各个像素点的灰度值，其中，确定灰度值的方法可以参考现有确定灰度值的方法，本公开实施例对此并不进行限定。

[0118] 图2为本公开实施例包装缺陷的示意图，本公开实施例以茶包包装为例，在实际应用中，茶包自动化包装机受到外部干扰时容易出现较大的波动，由于机械振动或其他环境因素会造成包装破损、空囊、褶皱等质量问题，其中，茶包可能出现的缺陷包括但不限于：

[0119] 夹渣包：茶叶末在封装的时候夹入茶包边缘；破包：茶包破损处茶叶会裸露；皱包：茶包皱起，其面积较正常的茶包要小；空包：空包中没有茶叶；斜包：倾斜茶包的边缘不垂直；左右不对称茶包：茶包左边或右边边缘封口 宽度与标准值相差较大；

[0120] 茶包的缺陷不仅会导致无法使用，还可能导致用户实际使用，降低用户体验，特别是较为高端的茶包，缺陷容错率较低，因此，需要对茶包进行缺陷检测，降低茶包生产过程中，出现缺陷茶包的概率，并且对缺陷茶包进行对应的缺陷处理，例如，销毁或者重新生产等。

[0121] S102、将灰度值小于预设像素梯度阈值的第一像素点通过第一图像增强模型进行图像增强，将灰度值大于预设像素梯度阈值的第一像素点通过第二图像增强模型进行图像增强，得到包装增强图像，其中，所述第一图像增强模型用于对所述灰度图像中非边缘区域进行图像增强，所述第二图像增强模型用于对所述灰度图像中边缘区域进行图像增强；

[0122] 示例性地，本公开实施例的预设像素梯度阈值可通过扩散函数确定，具体地，扩散函数可以如下所示：

[0123]

[0124] 其中， 表示扩散函数， 表示像素图像梯度，K表示扩散函数的常数。

[0125] 其中，扩散函数在梯度模 为零时取得最大值，随着梯度模 的增长，扩散函数迅速递减，直到 ≥K时，扩散函数趋于零。预设像素梯度阈值可以是根据所选取的扩散函数的常数所确定的。

[0126] 进一步地，所述第一图像增强模型用于对所述灰度图像中非边缘区域进行图像增强，所述第二图像增强模型用于对所述灰度图像中边缘区域进行图像增强，可选地，第一图像增强模型可以是对Perona‑Malik模型改进后的模型，第二图像增强模型可以是对扩散模型改进后的模型。

[0127] 其中，所述包装增强图像是指对包装灰度图像进行噪声过滤，并且增强图像边缘得到的图像。

[0128] 在一种可选的实施方式中，

[0129] 图3为本公开实施例一种进行图像增强的流程示意图，如图3所示，所述将灰度值小于预设像素梯度阈值的第一像素点通过第一图像增强模型进行图像增强包括：

[0130] S301、若所述第一像素点的灰度值小于预设像素梯度阈值，对所述第一像素点进行高斯滤波，确定高斯滤波后第一像素点图像梯度的局部估计；

[0131] S302、根据所述图像梯度的局部估计，通过以高斯滤波后第一像素点的标准差为高斯核的高斯函数与所述局部估计进行卷积，设定图像卷积的扩散程度；

[0132] S303、根据所述图像卷积的扩散程度，对所述第一像素点按照预设迭代次数进行高斯滤波，实现第一图像增强。

[0133] 示例性地，第一像素点的灰度值小于预设像素梯度阈值，则可以认为此部分图像为图像频率变化较为缓慢的图像，也即较为平坦的图像，可以将其认定为背景区域图像，实际应用中，背景区域图像往往空白区域较多，图像特征变化较为平缓。

[0134] 若所述第一像素点的灰度值小于预设像素梯度阈值，则可以对第一像素点进行高斯滤波，通过高斯滤波后，可得到第一像素点图像梯度的局部估计，有利于设定扩散程度，减弱噪声的影响，使图像增强的计算更加准确。进一步地，将高斯滤波后第一像素点的标准差为高斯核的高斯函数与所述局部估计进行卷积，设定图像卷积的扩散程度，能够设定合理的平滑的力度，并且，对所述第一像素点按照预设迭代次数进行高斯滤波，能够消除每迭代一次图像中的噪声就被平滑掉一部分，避免对图像边缘过分平滑带来的不利效果，从而实现，平滑噪声的同时，保持图像边缘。

[0135] 所述将灰度值小于预设像素梯度阈值的第一像素点通过第一图像增强模型进行图像增强的方法可以如下公式所示：

[0136]

[0137] 其中， 表示像素图像梯度，L表示噪声梯度阈值，c表示像素扩散函数系数，表示以像素标准差为高斯核的高斯函数，p(t)表示像素标准差函数，t表示时间。

[0138] 图4为本公开实施例另一种进行图像增强的流程示意图，如图4所示，将灰度值大于预设像素梯度阈值的第一像素点通过第二图像增强模型进行图像增强包括：

[0139] S401、确定灰度值大于预设像素梯度阈值的第一像素点的像素值与预设像素梯度阈值的第二像素偏差值，根据所述第二像素偏差值设定像素边界值以及像素扩散值；

[0140] S402、根据所设定的像素边界值，将所述灰度值大于预设像素梯度阈值的第一像素点切分为多个均匀网格点；

[0141] S403、根据所述像素扩散值对所述多个均匀网格点进行横向和纵向的扩散，实现第二图像增强。

[0142] 示例性地，第一像素点的灰度值大于预设像素梯度阈值，则可以认为此部分图像为图像频率变化较快的图像，也即高频图像，可以将其认定为目标区域图像，实际应用中，目标区域可以是包括包装主体内容的区域，用于判断包装中是否存在缺陷的主要依据。

[0143] 可选地，可以将灰度值大于预设像素梯度阈值的第一像素点的像素值与预设像素梯度阈值进行比较，确定第二像素偏差值，其中，第二像素偏差值用于指示各个第一像素点与预设像素梯度阈值的像素偏差，其中，与预设像素梯度阈值的像素偏差越大，说明该部分像素存在噪声越大，对应的像素扩散值越大，与预设像素梯度阈值的像素偏差越小，说明该部分像素存在噪声越小，对应的像素扩散值越小。

[0144] 此外，可以根据所述第二像素偏差值设定像素边界值以及像素扩散值，具体地，可以通过调节扩散系数可以控制图像不同方向上的平滑程度。对图像来说，等灰度轮廓线的切向扩散就是沿图像边缘进行平滑，而等轮廓线的法向就是垂直于图像边缘的方向沿此方向的平滑会使边缘模糊。所谓各向同性扩散就是指法向与切向的扩散系数相同，因此各向同性的扩散算法平滑图像时在抑制噪声的同时也使图像边缘变得模糊。实际应用中，以第二像素偏差值为0.45为例，像素边界值可以为0.24，像素扩散值可以为0.15。需要说明的是，上述具体值只是示例性说明，本公开实施例对第二像素偏差值、像素边界值以及像素扩散值均不作限定。

[0145] 根据所设定的像素边界值，将所述灰度值大于预设像素梯度阈值的第一像素点切分为多个均匀网格点；

[0146] 根据所述像素扩散值对所述多个均匀网格点进行横向和纵向的扩散，实现第二图像增强；

[0147] 其中，多个均匀网格点可以表示为[x1、x2、…、xm]，其中，m表示网格点的个数，根据像素扩散值进行横向和纵向的扩散包括根据像素扩散值求解像素值对应的前向差分值和后向差分值，具体方法可以包括：

[0148]

[0149]

[0150] 其中，uf表示前向差分值，ub表示后向差分值， 表示前向差分对应的第n+1个像素值， 表示前向差分对应的第n个像素值， 表示后向差分对应的第n个像素值，表示后向差分对应的第n+1个像素值， 表示相邻均匀网格点的像素差， 、 分
别表示前向差分像素扩散值对应的扩散系数、后向差分像素扩散值对应的扩散系数。

[0151] 示例性地，本公开实施例中，可以将像素扩散转换为微分方程求解的问题，示例性地，可以用特定间隔的点上的目标函数的差近似的作为对应的偏微分，将偏微分方程转化为一个格点处目标函数的线性方程组，通过求解线性方程组，可以得到所有格点上目标函数的值。具体地，可以参考线性微分方程的求解过程，本公开实施例对此不再赘述。

[0152] 通过将包装灰度图像中第一像素点与预设像素梯度阈值进行比较，并且根据比较结果，分别进行第一图像增强和第二图像增强，针对包装灰度图像中不同区域，分别采用不同的图像增强方法，将图像增强的过程看成一个随时间演化的问题，实现了在图像的不同的尺度上进行扩散：并且通过函数自动调整扩散因子，从而达到保留图像边缘信息的目的。

[0153] S103、基于所述包装增强图像中各个第二像素点与其相邻像素点的第一像素偏差值，将所述包装增强图像分割为目标区域与背景区域；

[0154] 示例性地，第二像素点用于指示包装增强图像中各个像素点，第一像素偏差值用于指示相邻两个像素点的像素偏差值。其中，目标区域为拟进行缺陷检测的区域，包装增强图像中除目标区域以外的区域。

[0155] 在一种可选的实施方式中，

[0156] 图5为本公开实施例进行图像分割的流程示意图，如图5所示，所述基于所述包装增强图像中各个第二像素点与其相邻像素点的第一像素偏差值，将所述包装增强图像分割为目标区域与背景区域包括：

[0157] S501、基于所述包装增强图像中各个第二像素点与其相邻像素点的第一像素偏差值，以及各个第二像素点与其相邻像素点的像素位置，确定所述各个第二像素点与其相邻像素点的像素关联值；

[0158] S502、确定所述各个第二像素点的灰度特征，根据所述第二像素点的灰度特征以及所述像素关联值确定所述包装增强图像的综合像素阈值；

[0159] S503、分别将所述包装增强图像中各个第二像素点与所述综合像素阈值进行比较，将第二像素点的像素值大于所述综合像素阈值的像素点分割为目标区域，将第二像素点的像素值小于所述综合像素阈值的像素点分割为背景区域。

[0160] 示例性地，像素关联值用于指示相邻两个像素在图像中的紧密度，进而能够表征相邻两个像素属于同一类型的概率，从而能够判断相邻两个像素是否属于不同区域，进而进行区域分割。

[0161] 其中，根据第一像素偏差值，以及各个第二像素点与其相邻像素点的像素位置，确定所述各个第二像素点与其相邻像素点的像素关联值的方法可以包括：

[0162] 按照如下公式所示的方法确定像素关联值：

[0163]

[0164] 其中，(x,y)表示第二像素点的位置信息，R(x,y)表示像素关联值，k表示偏移阈值，(m,n)表示滑动窗口内相邻像素和要处理位置像素的偏移像素值，f(·)表示相邻像素属于同一类型概率函数。

[0165] 示例性地，根据所述第二像素点的灰度特征以及所述像素关联值确定所述包装增强图像的综合像素阈值可以包括：

[0166] 按照如下公式所示的方法确定综合像素阈值：

[0167]

[0168] 其中，Zr表示综合像素阈值，R(x,y)表示像素关联值，M、N分别表示第二像素点的位置信息的横坐标和纵坐标对应的像素点数。

[0169] 具体地，将第二像素点的像素值大于所述综合像素阈值的像素点分割为目标区域，将第二像素点的像素值小于所述综合像素阈值的像素点分割为背景区域；

[0170] 示例性地，对于区域分割可以设定为类似于二元化表达，通过综合像素阈值与第二像素点的像素值进行比较，类似于灰度概率空间划分，将大于综合像素阈值的像素点划分为目标区域，将小于综合像素阈值的像素点划分为背景区域。通过上述确定综合像素阈值的方法，可以得到区域分割的最佳阈值，并且通过结合像素关联值，能够提高区域分割的内敛性，降低计算复杂度，提高区域分割的效率。

[0171] S104、提取所述目标区域的图像特征，并根据所述图像特征进行缺陷检测，确定所述目标区域的缺陷类别，并根据所述缺陷类别进行缺陷处理。

[0172] 示例性地，所述图像特征包括角度特征、灰度值特征、纹理特征、形状特征中至少一种，其中，角度特征用于指示目标区域与标准区域的角度偏差值，其中，标准区域的角度可以为90度；灰度值特征用于指示目标区域的灰度值分布情况；纹理特征用于指示目标区域是否平整；形状特征用于指示目标区域的整体形状是否符合预期标准，例如为较为完整的圆形或者矩形等。

[0173] 其中，目标区域的缺陷类别以茶包为例，可以包括茶包破损，茶包形状不标准，茶包挂绳断裂，茶包褶皱等等，本公开实施例对缺陷类别并不进行限定。此外，本公开实施例可以根据缺陷类别进行相应的缺陷处理，例如，对于茶包破损，可以将其销毁，防止因为茶包破损导致茶叶损坏；对于茶包形状不标准，则可以将茶叶倒出后，重新装填；对于茶包挂绳断裂，则可以重新接上新的挂绳，而无需对茶叶本身进行处理，提高缺陷茶叶的利用率，降低浪费；对于茶包褶皱，则可以重新通过挤压器对茶包表面进行挤压，将其处理完符合标准的茶包。

[0174] 通过根据缺陷类别进行相应的缺陷处理，能够提高包装的利用率，降低包装浪费。

[0175] 在一种可选的实施方式中，

[0176] 所述图像特征包括角度特征、灰度值特征、纹理特征、形状特征中至少一种，[0177] 所述提取所述目标区域的图像特征，并根据所述图像特征进行缺陷检测，确定所述目标区域的缺陷类别包括：

[0178] 根据所提取的所述目标区域的所有图像特征，确定所述目标区域的向量均值；

[0179] 按照预设步长通过特征窗口滑动选取所述目标区域的图像特征，根据所述图像特征以及所述向量均值，确定所述目标区域中各个图像特征与所述向量均值对应的像素距离；

[0180] 根据各个像素距离与预设距离阈值的比较关系，确定所述目标区域是否存在缺陷，

[0181] 若所述目标区域存在缺陷，则通过决策树算法确定所述目标区域对应的缺陷类别。

[0182] 示例性地，确定所述目标区域的向量均值的方法可以如下所示：

[0183]

[0184] 其中，V表示向量均值，p表示特征窗口的序号，C表示特征窗口的大小，n表示图像特征的个数，Xi表示所有图像特征中第i个图像特征向量。

[0185] 确定所述目标区域中各个图像特征与所述向量均值对应的像素距离可以通过计算各个图像特征和向量均值的欧式距离，并且根据欧式距离与预设距离阈值的比较关系，确定目标区域是否存在缺陷，其中，预设距离阈值可以通过综合各个像素距离的置信区间，将置信区间的中值作为预设距离阈。

[0186] 在一种可选的实施方式中，

[0187] 所述根据所述图像特征以及所述向量均值，确定所述目标区域中各个图像特征与所述向量均值对应的像素距离包括：

[0188] 按照如下公式确定像素距离：

[0189]

[0190]

[0191] 其中，Di表示第i个图像特征与向量均值对应的像素距离，Xi表示所有图像特征中第i个图像特征向量，V表示向量均值，F表示目标区域中各个图像特征的协方差，p表示特征窗口的序号，C表示特征窗口的大小，n表示图像特征的个数。

[0192] 本公开的基于机器视觉的包装缺陷识别方法，

[0193] 通过将包装灰度图像中第一像素点与预设像素梯度阈值进行比较，并且根据比较结果，分别进行第一图像增强和第二图像增强，针对包装灰度图像中不同区域，分别采用不同的图像增强方法，将图像增强的过程看成一个随时间演化的问题，实现了在图像的不同的尺度上进行扩散：并且通过函数自动调整扩散因子，从而达到保留图像边缘信息的目的；

[0194] 根据包装增强图像中的像素点信息，确定像素点与其相邻像素点的像素关联值，不仅利用了正常灰度信息，还利用到图像像素中的邻域均值灰度信息，并且确定包装增强图像的综合像素阈值，减少区域分割中可能受到的噪声影响，并且使区域分割过程在更快的时间内得以完成。

[0195] 本公开实施例的第二方面，

[0196] 提供一种基于机器视觉的包装缺陷识别系统，图6为本公开实施例基于机器视觉的包装缺陷识别系统的结构示意图，如图6所示，包括：

[0197] 第一单元，用于获取包装产品线上多个包装图像，将所述多个包装图像转换为多个包装灰度图像，并且确定所述多个包装灰度图像中各个第一像素点对应的灰度值；

[0198] 第二单元，用于将灰度值小于预设像素梯度阈值的第一像素点通过第一图像增强模型进行图像增强，将灰度值大于预设像素梯度阈值的第一像素点通过第二图像增强模型进行图像增强，得到包装增强图像，其中，所述第一图像增强模型用于对所述灰度图像中非边缘区域进行图像增强，所述第二图像增强模型用于对所述灰度图像中边缘区域进行图像增强；

[0199] 第三单元，用于基于所述包装增强图像中各个第二像素点与其相邻像素点的第一像素偏差值，将所述包装增强图像分割为目标区域与背景区域；

[0200] 第四单元，用于提取所述目标区域的图像特征，并根据所述图像特征进行缺陷检测，确定所述目标区域的缺陷类别，并根据所述缺陷类别进行缺陷处理。

[0201] 在一种可选的实施方式中，

[0202] 所述第二单元还用于：

[0203] 所述将灰度值小于预设像素梯度阈值的第一像素点通过第一图像增强模型进行图像增强包括：

[0204] 若所述第一像素点的灰度值小于预设像素梯度阈值，对所述第一像素点进行高斯滤波，确定高斯滤波后第一像素点图像梯度的局部估计；

[0205] 根据所述图像梯度的局部估计，通过以高斯滤波后第一像素点的标准差为高斯核的高斯函数与所述局部估计进行卷积，设定图像卷积的扩散程度；

[0206] 根据所述图像卷积的扩散程度，对所述第一像素点按照预设迭代次数进行高斯滤波，实现第一图像增强。

[0207] 在一种可选的实施方式中，

[0208] 所述第二单元还用于：

[0209] 将灰度值大于预设像素梯度阈值的第一像素点通过第二图像增强模型进行图像增强包括：

[0210] 确定灰度值大于预设像素梯度阈值的第一像素点的像素值与预设像素梯度阈值的第二像素偏差值，根据所述第二像素偏差值设定像素边界值以及像素扩散值；

[0211] 根据所设定的像素边界值，将所述灰度值大于预设像素梯度阈值的第一像素点切分为多个均匀网格点；

[0212] 根据所述像素扩散值对所述多个均匀网格点进行横向和纵向的扩散，实现第二图像增强。

[0213] 在一种可选的实施方式中，

[0214] 所述第三单元还用于：

[0215] 基于所述包装增强图像中各个第二像素点与其相邻像素点的第一像素偏差值，以及各个第二像素点与其相邻像素点的像素位置，确定所述各个第二像素点与其相邻像素点的像素关联值；

[0216] 确定所述各个第二像素点的灰度特征，根据所述第二像素点的灰度特征以及所述像素关联值确定所述包装增强图像的综合像素阈值；

[0217] 分别将所述包装增强图像中各个第二像素点与所述综合像素阈值进行比较，将第二像素点的像素值大于所述综合像素阈值的像素点分割为目标区域，将第二像素点的像素值小于所述综合像素阈值的像素点分割为背景区域。

[0218] 在一种可选的实施方式中，

[0219] 所述第三单元还用于：

[0220] 按照如下公式确定所述综合像素阈值：

[0221]

[0222]

[0223] 其中，Zr表示综合像素阈值，R(x,y)表示像素关联值，M、N分别表示第二像素点的位置信息的横坐标和纵坐标对应的像素点数，(x,y)表示第二像素点的位置信息，R(x,y)表示像素关联值，k表示偏移阈值，(m,n)表示滑动窗口内相邻像素和要处理位置像素的偏移像素值，f(·)表示相邻像素属于同一类型概率函数。

[0224] 在一种可选的实施方式中，

[0225] 所述第四单元还用于：

[0226] 根据所提取的所述目标区域的所有图像特征，确定所述目标区域的向量均值；

[0227] 按照预设步长通过特征窗口滑动选取所述目标区域的图像特征，根据所述图像特征以及所述向量均值，确定所述目标区域中各个图像特征与所述向量均值对应的像素距离；

[0228] 根据各个像素距离与预设距离阈值的比较关系，确定所述目标区域是否存在缺陷，

[0229] 若所述目标区域存在缺陷，则通过决策树算法确定所述目标区域对应的缺陷类别。

[0230] 在一种可选的实施方式中，

[0231] 所述第四单元还用于：

[0232] 按照如下公式确定像素距离：

[0233]

[0234]

[0235] 其中，Di表示第i个图像特征与向量均值对应的像素距离，Xi表示所有图像特征中第i个图像特征向量，V表示向量均值，F表示目标区域中各个图像特征的协方差，p表示特征窗口的序号，C表示特征窗口的大小，n表示图像特征的个数。

[0236] 本公开实施例的第三方面，

[0237] 提供一种设备，包括：

[0238] 处理器；

[0239] 用于存储处理器可执行指令的存储器；

[0240] 其中，所述处理器被配置为调用所述存储器存储的指令，以执行前述所述的方法。

[0241] 本公开实施例的第四方面，

[0242] 提供一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现前述所述的方法。

[0243] 本发明可以是方法、装置、系统和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于执行本发明的各个方面的计算机可读程序指令。

[0244] 计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子（非穷举的列表）包括：便携式计算机盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（EPROM或闪存）、静态随机存取存储器（SRAM）、便携式压缩盘只读存储器（CD‑ROM）、数字多功能盘（DVD）、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波（例如，通过光纤电缆的光脉冲）、或者通过电线传输的电信号。

[0245] 这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。

[0246] 用于执行本发明操作的计算机程序指令可以是汇编指令、指令集架构（ISA）指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机（例如利用因特网服务提供商来通过因特网连接）。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列（FPGA）或可编程逻辑阵列（PLA），该电子电路可以执行计算机可读程序指令，从而实现本发明的各个方面。

[0247] 这里参照根据本发明实施例的方法、装置（系统）和计算机程序产品的流程图和/或框图描述了本发明的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。

[0248] 这些计算机可读程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理单元，从而生产出一种机器，使得这些指令在通过计算机或其他可编程数据处理装置的处理单元执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。

[0249] 也可以把计算机可读程序指令加载到计算机、其他可编程数据处理装置、或其他设备上，使得在计算机、其他可编程数据处理装置或其他设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其他可编程数据处理装置、或其他设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。

[0250] 附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

[0251] 注意，除非另有直接说明，否则本说明书(包含任何所附权利要求、摘要和附图)中所揭示的所有特征皆可由用于达到相同、等效或类似目的的可替代特征来替换。因此，除非另有明确说明，否则所公开的每一个特征仅是一组等效或类似特征的一个示例。在使用到的情况下，进一步地、较优地、更进一步地和更优地是在前述实施例基础上进行另一实施例阐述的简单起头，该进一步地、较优地、更进一步地或更优地后带的内容与前述实施例的结合作为另一实施例的完整构成。在同一实施例后带的若干个进一步地、较优地、更进一步地或更优地设置之间可任意组合的组成又一实施例。

[0252] 本领域的技术人员应理解，上述描述及附图中所示的本发明的实施例只作为举例而并不限制本发明。本发明的目的已经完整并有效地实现。本发明的功能及结构原理已在实施例中展示和说明，在没有背离所述原理下，本发明的实施方式可以有任何变形或修改。

[0253] 最后应说明的是：以上各实施例仅用以说明本公开的技术方案，而非对其限制；尽管参照前述各实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本公开各实施例技术方案的范围。