基于深度学习的路面灌缝检测方法、系统、终端及介质

摘要

本发明公开了基于深度学习的路面灌缝检测方法、系统、终端及介质，涉及图像识别技术领域，其技术方案要点是：实时采集目标路面的路面图像数据，路面图像数据包括全局视角下的第一图像数据和局部视角下的第二图像数据；将第一图像数据与第二图像数据中针对同一路面段的图像进行关联；筛选出第一图像数据中的异常图像；从第二图像数据中匹配得到与异常图像关联的目标图像；将目标图像输入预构建的深度学习网络模型，输出得到对目标图像进行路面灌缝检测的检测结果。本发明可降低参与精准识别的图像数量，提高识别效率；将全局视角下和局部视角下的图像关联后进行识别，既可以适应高速(56)对比文件RUI WANG 等.A_Lightweight_High-Resolution_RS_Image_Road_Extraction_Method_Combining_Multi-Scale_and_Attention_Mechanism《.IEEE Access》.2023,108956-108966.王耀东;朱力强;史红梅;方恩权;杨玲芝.基于局部图像纹理计算的隧道裂缝视觉检测技术.铁道学报.2018,(第02期),82-90页.蔡志兴;罗文婷;李林.基于深度学习的路面裂缝自动化识别研究.建材与装饰.2020,(第05期),238-240页.

权利要求

1.基于深度学习的路面灌缝检测方法，其特征是，包括以下步骤：实时采集目标路面的路面图像数据，路面图像数据包括全局视角下的第一图像数据和局部视角下的第二图像数据；

将第一图像数据与第二图像数据中针对同一路面段的图像进行关联；

筛选出第一图像数据中的异常图像；

从第二图像数据中匹配得到与异常图像关联的目标图像；

将目标图像输入预构建的深度学习网络模型，输出得到对目标图像进行路面灌缝检测的检测结果；

所述深度学习网络模型以图像分类网络deeplabv3+为基础，并使用轻量级网络MobileNetv2替换DeepLabv3+的主干网络Xception；

所述深度学习网络模型通过编码器和解码器进行特征提取，具体过程为：利用Mobilenetv2对路面图像进行初步提取，得到8×16大小的深层特征图以及32×64大小的浅层特征图；

将深层特征图传入ASPP模块进行特征提取，然后进行合并，再执行上采样4倍操作，得到32×64大小的第一特征图，第一特征图为原输入尺寸大小的1/8；

将32×64大小的浅层特征图通过卷积核大小为1×1、步长为1的卷积层以及标准化和非线性激活函数RELU，得到原输入尺寸1/8大小的第二特征图；

将以上2个原输入尺寸1/8大小的第一特征图、第二特征图进行特征的拼接融合，得到最后高语义特征和多尺度特征信息的融合结果，然后将融合结果传入ECA Attention结构，接着通过3×3×1的卷积层得到的单通道特征图，最后执行上采样8倍操作实现最后的语义分割结果。

2.根据权利要求1所述的基于深度学习的路面灌缝检测方法，其特征是，所述全局视角下所对应的单一摄像头的采集区域覆盖目标路面的宽度范围；

所述局部视角下所对应的多个摄像头的采集区域交集处理后覆盖目标路面的宽度范围；

以及，同一路面段中第一图像数据的采集时间先于第二图像数据的采集时间。

3.根据权利要求1所述的基于深度学习的路面灌缝检测方法，其特征是，所述第一图像数据和第二图像数据以相同的采集间隔时间进行同步采集；

第一图像数据中的第m个图像与第二图像数据中的第m+n个图像关联，n为正整数；

其中，n由采集间隔时间、采集车的移动速度以及摄像头的安装参数决定，摄像头的安装参数包括摄像方向的俯仰角以及摄像头距离目标路面的垂直高度。

4.根据权利要求3所述的基于深度学习的路面灌缝检测方法，其特征是，所述第一图像数据与第二图像数据的关联表达式具体为：其中，n表示第一图像数据与第二图像数据关联的图像序号差值；h表示摄像头距离目标路面的垂直高度；α表示全局视角下所对应摄像方向的俯仰角；β表示局部视角下所对应摄像方向的俯仰角；v表示采集车的移动速度；Δt表示图像采集的采集间隔时间； 表示第一图像数据中第m个图像； 表示第二图像数据中第m+n个图像； 表示两侧图像所采集的路面段相同。

5.根据权利要求1所述的基于深度学习的路面灌缝检测方法，其特征是，所述异常图像的筛选过程具体为：提取第一图像数据中单个图像的路面标线，并将路面标线去除后得到非标图像；

计算非标图像中沿路面标线的延伸方向的像素均值；

沿路面标线的延伸方向计算两个相邻的像素均值的差值，若存在差值大于设定阈值的情况，则判定相应的图像为异常图像。

6.基于深度学习的路面灌缝检测系统，其特征是，包括：

图像采集模块，用于实时采集目标路面的路面图像数据，路面图像数据包括全局视角下的第一图像数据和局部视角下的第二图像数据；

图像关联模块，用于将第一图像数据与第二图像数据中针对同一路面段的图像进行关联；

异常筛选模块，用于筛选出第一图像数据中的异常图像；

图像匹配模块，用于从第二图像数据中匹配得到与异常图像关联的目标图像；

灌缝检测模块，用于将目标图像输入预构建的深度学习网络模型，输出得到对目标图像进行路面灌缝检测的检测结果；

所述深度学习网络模型以图像分类网络deeplabv3+为基础，并使用轻量级网络MobileNetv2替换DeepLabv3+的主干网络Xception；

所述深度学习网络模型通过编码器和解码器进行特征提取，具体过程为：利用Mobilenetv2对路面图像进行初步提取，得到8×16大小的深层特征图以及32×64大小的浅层特征图；

将深层特征图传入ASPP模块进行特征提取，然后进行合并，再执行上采样4倍操作，得到32×64大小的第一特征图，第一特征图为原输入尺寸大小的1/8；

将32×64大小的浅层特征图通过卷积核大小为1×1、步长为1的卷积层以及标准化和非线性激活函数RELU，得到原输入尺寸1/8大小的第二特征图；

将以上2个原输入尺寸1/8大小的第一特征图、第二特征图进行特征的拼接融合，得到最后高语义特征和多尺度特征信息的融合结果，然后将融合结果传入ECA Attention结构，接着通过3×3×1的卷积层得到的单通道特征图，最后执行上采样8倍操作实现最后的语义分割结果。

7.一种计算机终端，包含存储器、处理器及存储在存储器并可在处理器上运行的计算机程序，其特征是，所述处理器执行所述程序时实现如权利要求1‑5中任意一项所述的基于深度学习的路面灌缝检测方法。

8.一种计算机可读介质，其上存储有计算机程序，其特征是，所述计算机程序被处理器执行可实现如权利要求1‑5中任意一项所述的基于深度学习的路面灌缝检测方法。

说明书

基于深度学习的路面灌缝检测方法、系统、终端及介质

技术领域

[0001] 本发明涉及图像识别技术领域，更具体地说，它涉及基于深度学习的路面灌缝检测方法、系统、终端及介质。

背景技术

[0002] 传统的公路路面灌缝检测方法是人工检测，这种人工的检测的结果不仅耗时、成本高、效率低、工作强度大、速度慢，并且带有很强的主观性和不安全因素。为此，一系列基于深度学习的道路灌缝检测方法被开发了出来，并应用于工程实际。

[0003] 然而，基于真实路面状况的复杂多变，使得现有的深度卷积神经网络算法虽然在识别效果和泛化能力上较传统的算法模型有质的提升，但在路面灌缝的精确定量评估上仍然有进一步的研究发展空间。如现有的深度卷积神经网络算法应用于路面灌缝检测的效果非常容易受到光照强度以及路面噪声的影响，从而出现大量的误识别以及目标边界定位不准确的现象，降低识别率较低，鲁棒性较差；此外，针对每一个采集的路面图像数据均进行识别，在一定程度上占用了大量的网络资源，且大量的图像识别也容易导致识别效率低；另外，道路上正常行驶的车辆也容易导致大量的误识别以及无法进行全面识别。

[0004] 因此，如何研究设计一种能够克服上述缺陷的基于深度学习的路面灌缝检测方法、系统、终端及介质是我们目前急需解决的问题。

发明内容

[0005] 为解决现有技术中的不足，本发明的目的是提供基于深度学习的路面灌缝检测方法、系统、终端及介质，可降低参与精准识别的图像数量，从而提高识别效率；此外，将全局视角下和局部视角下的图像关联后进行识别，既可以适应高速行驶状态，又可以在有车辆遮挡的情况下进行全面覆盖识别。

[0006] 本发明的上述技术目的是通过以下技术方案得以实现的：

[0007] 第一方面，提供了基于深度学习的路面灌缝检测方法，包括以下步骤：

[0008] 实时采集目标路面的路面图像数据，路面图像数据包括全局视角下的第一图像数据和局部视角下的第二图像数据；

[0009] 将第一图像数据与第二图像数据中针对同一路面段的图像进行关联；

[0010] 筛选出第一图像数据中的异常图像；

[0011] 从第二图像数据中匹配得到与异常图像关联的目标图像；

[0012] 将目标图像输入预构建的深度学习网络模型，输出得到对目标图像进行路面灌缝检测的检测结果。

[0013] 进一步的，所述全局视角下所对应的单一摄像头的采集区域覆盖目标路面的宽度范围；

[0014] 所述局部视角下所对应的多个摄像头的采集区域交集处理后覆盖目标路面的宽度范围；

[0015] 以及，同一路面段中第一图像数据的采集时间先于第二图像数据的采集时间。

[0016] 进一步的，所述第一图像数据和第二图像数据以相同的采集间隔时间进行同步采集；

[0017] 第一图像数据中的第m个图像与第二图像数据中的第m+n个图像关联，n为正整数；

[0018] 其中，n由采集间隔时间、采集车的移动速度以及摄像头的安装参数决定，摄像头的安装参数包括摄像方向的俯仰角以及摄像头距离目标路面的垂直高度。

[0019] 进一步的，所述第一图像数据与第二图像数据的关联表达式具体为：

[0020] ；

[0021] 其中， 表示第一图像数据与第二图像数据关联的图像序号差值； 表示摄像头距离目标路面的垂直高度； 表示全局视角下所对应摄像方向的俯仰角； 表示局部视角下所对应摄像方向的俯仰角； 表示采集车的移动速度； 表示图像采集的采集间隔时间； 表示第一图像数据中第 个图像； 表示第二图像数据中第 个图像；表示两侧图像所采集的路面段相同。

[0022] 进一步的，所述异常图像的筛选过程具体为：

[0023] 提取第一图像数据中单个图像的路面标线，并将路面标线去除后得到非标图像；

[0024] 计算非标图像中沿路面标线的延伸方向的像素均值；

[0025] 沿路面标线的延伸方向计算两个相邻的像素均值的差值，若存在差值大于设定阈值的情况，则判定相应的图像为异常图像。

[0026] 进一步的，所述深度学习网络模型以图像分类网络deeplabv3+为基础，并使用轻量级网络MobileNetv2替换DeepLabv3+的主干网络Xception。

[0027] 进一步的，所述深度学习网络模型通过编码器和解码器进行特征提取，具体过程为：

[0028] 利用Mobilenetv2对路面图像进行初步提取，得到8×16大小的深层特征图以及32×64大小的浅层特征图；

[0029] 将深层特征图传入ASPP模块进行特征提取，然后进行合并，再执行上采样4倍操作，得到32×64大小的第一特征图，第一特征图为原输入尺寸大小的1/8；

[0030] 将32×64大小的浅层特征图通过卷积核大小为1×1、步长为1的卷积层以及标准化和非线性激活函数RELU，得到原输入尺寸1/8大小的第二特征图；

[0031] 将第一特征图、第二特征图进行特征的拼接融合，得到最后高语义特征和多尺度特征信息的融合结果，然后将融合结果传入ECA Attention结构，接着通过3×3×1的卷积层得到的单通道特征图，最后执行上采样8倍操作实现最后的语义分割结果。

[0032] 第二方面，提供了基于深度学习的路面灌缝检测系统，包括：

[0033] 图像采集模块，用于实时采集目标路面的路面图像数据，路面图像数据包括全局视角下的第一图像数据和局部视角下的第二图像数据；

[0034] 图像关联模块，用于将第一图像数据与第二图像数据中针对同一路面段的图像进行关联；

[0035] 异常筛选模块，用于筛选出第一图像数据中的异常图像；

[0036] 图像匹配模块，用于从第二图像数据中匹配得到与异常图像关联的目标图像；

[0037] 灌缝检测模块，用于将目标图像输入预构建的深度学习网络模型，输出得到对目标图像进行路面灌缝检测的检测结果。

[0038] 第三方面，提供了一种计算机终端，包含存储器、处理器及存储在存储器并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一方面中任意一项所述的基于深度学习的路面灌缝检测方法。

[0039] 第四方面，提供了一种计算机可读介质，其上存储有计算机程序，所述计算机程序被处理器执行可实现如第一方面中任意一项所述的基于深度学习的路面灌缝检测方法。

[0040] 与现有技术相比，本发明具有以下有益效果：

[0041] 1、本发明提供的基于深度学习的路面灌缝检测方法，先对全局视角下相对模糊的第一图像数据进行异常识别，再利用深度学习网络模型对存在异常的路面段所对应的相对清晰的第二图像数据进行精准识别，可降低参与精准识别的图像数量，从而提高识别效率；此外，将全局视角下和局部视角下的图像关联后进行识别，既可以适应高速行驶状态，又可以在有车辆遮挡的情况下进行全面覆盖识别；

[0042] 2、本发明通过将第一图像数据与第二图像数据中不同时序的图像进行直接关联，可以降低图像匹配的难度，且可以依据实际应用情况灵活调整关联位置；

[0043] 3、本发明以图像分类网络deeplabv3+为基础，并使用轻量级网络MobileNetv2替换DeepLabv3+的主干网络Xception，可以减少参数量、提高训练速度；

[0044] 4、本发明在解码部分引入有效通道注意力(ECA)模块，在因光线造成的明暗差异处，不会像传统算法一样完全误判，能够准确的识别暗处的灌缝，对于灌缝附近出现的井盖干扰物，也可以很好的排除干扰，实现了灌缝的高精度分割识别。

附图说明

[0045] 此处所说明的附图用来提供对本发明实施例的进一步理解，构成本申请的一部分，并不构成对本发明实施例的限定。在附图中：

[0046] 图1是本发明实施例1中的流程图；

[0047] 图2是本发明实施例1中全局视角与局部视角的图像采集示意图；

[0048] 图3是本发明实施例1中ASPP模块的结构示意图；

[0049] 图4是本发明实施例1中深度学习网络模型的特征提取逻辑图；

[0050] 图5是本发明实施例2中的系统框图。

具体实施方式

[0051] 为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。

[0052] 实施例1：基于深度学习的路面灌缝检测方法，如图1所示，包括以下步骤：

[0053] 步骤S1：实时采集目标路面的路面图像数据，路面图像数据包括全局视角下的第一图像数据和局部视角下的第二图像数据；

[0054] 步骤S2：将第一图像数据与第二图像数据中针对同一路面段的图像进行关联；

[0055] 步骤S3：筛选出第一图像数据中的异常图像；

[0056] 步骤S4：从第二图像数据中匹配得到与异常图像关联的目标图像；

[0057] 步骤S5：将目标图像输入预构建的深度学习网络模型，输出得到对目标图像进行路面灌缝检测的检测结果。

[0058] 如图2所示，全局视角下所对应的单一摄像头的采集区域覆盖目标路面的宽度范围；局部视角下所对应的多个摄像头的采集区域交集处理后覆盖目标路面的宽度范围；以及，同一路面段中第一图像数据的采集时间先于第二图像数据的采集时间。

[0059] 例如，全局视角下采用一个摄像头实现图像采集，而局部视角下可以采用两个对称分布的摄像头实现图像采集。为此，第一图像数据中的每一个图像均可以覆盖路面的整个宽度的，但对于车辆行驶过程的晃动所导致的无法完整覆盖路面的整个宽度，不在此限度范围内。而对于第二图像数据而言，其实质分为了两个图像序列，两个图像序列中的图像一一对应排序。又或者是采用一个图像序列，但每一个序列号中的图像均包括两个局部视角下的摄像头所采集的图像。

[0060] 在本实施例中，第一图像数据和第二图像数据以相同的采集间隔时间进行同步采集；第一图像数据中的第m个图像与第二图像数据中的第m+n个图像关联，n为正整数；其中，n由采集间隔时间、采集车的移动速度以及摄像头的安装参数决定，摄像头的安装参数包括摄像方向的俯仰角以及摄像头距离目标路面的垂直高度。

[0061] 如图2所示，为将第一图像数据与第二图像数据中针对同一路面段的图像进行关联，那么针对同一路面段，第一图像数据与第二图像数据中的图像序号存在差异。例如，A是全局视角下的一个采集点，B是局部视角下的采集点。若针对A点，若局部视角需要采集到A点，则需要等全局视角采集到A点后等采集车移动距离为X，X为A、B两点之间的距离，通过三角函数计算出X的值，再结合采集车的移动速度和图像采集的采集间隔时间可以计算出采集车在从B点移动至A点的过程中，局部视角下所采集的图像数量，并根据此数量实现第一图像数据与第二图像数据的关联。

[0062] 为此，第一图像数据与第二图像数据的关联表达式具体为：

[0063] ；

[0064] 其中， 表示第一图像数据与第二图像数据关联的图像序号差值； 表示摄像头距离目标路面的垂直高度； 表示全局视角下所对应摄像方向的俯仰角； 表示局部视角下所对应摄像方向的俯仰角； 表示采集车的移动速度； 表示图像采集的采集间隔时间； 表示第一图像数据中第 个图像； 表示第二图像数据中第 个图像；表示两侧图像所采集的路面段相同。

[0065] 作为一种可选的实施方式，由于异常图像的筛选仅仅是进行初步判断，所以对于精确度要求并不高，为提供图像异常识别的效率，简化识别过程，异常图像的筛选过程具体为：提取第一图像数据中单个图像的路面标线，并将路面标线去除后得到非标图像；计算非标图像中沿路面标线的延伸方向的像素均值；沿路面标线的延伸方向计算两个相邻的像素均值的差值，若存在差值大于设定阈值的情况，则判定相应的图像为异常图像。

[0066] 此外，异常图像的筛选还可以采用现有技术中成熟的图像识别技术，例如全局像素对比识别。

[0067] 在本实施例中，深度学习网络模型以图像分类网络deeplabv3+为基础，并使用轻量级网络MobileNetv2替换DeepLabv3+的主干网络Xception。

[0068] 在构建深度学习网络模型时，需采集作为样本的灌缝数据，即初始图片。人工对检测车采集的灌缝数据进行标注，其中灌缝的像素设置为(140,40,225)，即紫色，其余背景像素全设置为(255,255,255)，即白色，形成与初始图片一一对应的真值图片。初始图片和真值图片进行预处理形成数据集。将真值图片转化灰度图，背景像素调整为0，即黑色，标线像素被调整为255，即白色；归一化处理，其中背景像素被调整为0，标线像素被调整为1。通过图像翻转、图像旋转等方式，增加图片数据量；最终随机分为训练数据集、验证数据集和测试数据集。

[0069] 利用道路检测车采集的路面图像数据以及人工标注的路面真值数据对本发明提出的神经网络算法进行训练，训练过程中使用的损失函数是Dice Loss，Dice Loss是一种用于监测网络识别的结果和路面真值图像之间重合度的损失函数，损失函数的值越小，代表网络识别的结果和路面真值图像越接近，训练目标是直至整个算法模型系统收敛，即平滑过后的损失函数在一定的训练轮数中保持不变，这时模型内部的神经元参数便达到了最优的状态。

[0070] 深度学习网络模型通过编码器和解码器进行特征提取。

[0071] 对于编码器而言。路面图像输入到网络中后，先利用Mobilenetv2对图像进行初步提取。获取Mobilenetv2的深层特征图，传入ASPP模块进行特征提取，然后进行合并，再利用1×1×256Conv2D进行压缩特征。其中1×1×256Conv2D表示卷积核为1×1×256的卷积层获取与图像原尺寸不变的特征层。

[0072] 对于解码器而言。获取Mobilenetv2的浅层特征图，传入该解码器中。该解码器由1×1×256Conv2D—Concat—ECA Attention—3×3×1Conv2D—UpSample组成。其中，1×1×256Conv2D表示卷积核为1×1×256的卷积层，步长为1。Concat层利用不同尺度特征图的语义信息，将其以增加channel的方式来融合特征，将编码器的深层特征图与特征图进行特征的拼接融合，得到最后高语义特征和多尺度特征信息的融合结果。ECA Attention是一种让网络更加关注目标物体的注意力机制，它可以有助于完成最后全局信息的构建以及边缘细节信息的恢复，通道注意力模块首先对输入的特征图，在空间维度进行全局池化和平均池化，压缩空间尺寸；然后将得到全局和评价池化的结果，分别通过两个不同神经元数量的全连接层；接着进行“加”操作，接着经过Sigmoid函数的映射处理，得到最终的“通道注意力值”，将通道注意力值与输入特征相乘得到调整后的特征。Up Sample代表利用双线性插值上采样，上采样的倍数为8倍，将其还原到原输入尺寸大小。

[0073] Mobilenetv2作为backbone网络。该模块的作用主要是对输入的图像进行特征的多尺度提取。是一个倒残差结构，是先升维，在降维的操作，由三层组成。第一层为卷积核为1×1的卷积层、批标准化、非线性激活函数RELU，第二层为卷积核为3×3的深度可分离卷积层、批标准化、非线性激活函数GELU，第三层为卷积核为1×1的卷积层、批标准化。而且，所有的卷积层内部使用的移动步长均为1。

[0074] 如图3所示，ASPP模块由五个并行的分支：1×1普通卷积层Conv2D、膨胀率为6的3×3空洞卷积层Dilated Conv2D、膨胀率为12的3×3空洞卷积层Dilated Conv2D、膨胀率为18的3×3空洞卷积层Dilated Conv2D和平均池化层组成，其中卷积层内部所使用的卷积步长均为1。最后将各层进行拼接，通过1×1×256的普通卷积从而实现自由的多尺度特征提取。

[0075] 如图4所示，深度学习网络模型通过编码器和解码器进行特征提取的具体过程为：利用Mobilenetv2对路面图像进行初步提取，得到8×16大小的深层特征图以及32×64大小的浅层特征图；将深层特征图传入ASPP模块进行特征提取，然后进行合并，再执行上采样4倍操作，得到32×64大小的第一特征图，第一特征图为原输入尺寸大小的1/8；将32×64大小的浅层特征图通过卷积核大小为1×1、步长为1的卷积层以及标准化和非线性激活函数RELU，得到原输入尺寸1/8大小的第二特征图；将以上2个原输入尺寸1/8大小的第一特征图、第二特征图进行特征的拼接融合，得到最后高语义特征和多尺度特征信息的融合结果，然后将融合结果传入ECA Attention结构，接着通过3×3×1的卷积层得到的单通道特征图，最后执行上采样8倍操作实现最后的语义分割结果。

[0076] 实施例2：基于深度学习的路面灌缝检测系统，该系统用于实现实施例1中所记载的基于深度学习的路面灌缝检测方法，如图5所示，包括图像采集模块、图像关联模块、异常筛选模块、图像匹配模块和灌缝检测模块。

[0077] 其中，图像采集模块，用于实时采集目标路面的路面图像数据，路面图像数据包括全局视角下的第一图像数据和局部视角下的第二图像数据；图像关联模块，用于将第一图像数据与第二图像数据中针对同一路面段的图像进行关联；异常筛选模块，用于筛选出第一图像数据中的异常图像；图像匹配模块，用于从第二图像数据中匹配得到与异常图像关联的目标图像；灌缝检测模块，用于将目标图像输入预构建的深度学习网络模型，输出得到对目标图像进行路面灌缝检测的检测结果。

[0078] 工作原理：本发明先对全局视角下相对模糊的第一图像数据进行异常识别，再利用深度学习网络模型对存在异常的路面段所对应的相对清晰的第二图像数据进行精准识别，可降低参与精准识别的图像数量，从而提高识别效率；此外，将全局视角下和局部视角下的图像关联后进行识别，既可以适应高速行驶状态，又可以在有车辆遮挡的情况下进行全面覆盖识别。

[0079] 本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD‑ROM、光学存储器等）上实施的计算机程序产品的形式。

[0080] 本申请是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。

[0081] 这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。

[0082] 这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。

[0083] 以上的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。