本发明公开了一种基于视频深度特征识别和子空间聚类的管道缺陷检测方法，涉及管道检测技术领域，该方法包括以下步骤：S10、管道缺陷检测视频中的图像分类，通过缺陷分类器得到所有帧图像的缺陷类型识别结果、缺陷帧特征以及16类缺陷和1类无缺陷计算分值；S20、子空间聚类算法，对缺陷帧特征进行聚类计算，得到关于时间序列的缺陷帧特征聚类结果；S30、关键帧图像的获取，挑选出每个聚类中的关键值最高的缺陷帧作为关键帧特征；本发明的有益效果是：能够准确的挑选出每个聚类中关键值最高的缺陷帧，准确率高。
1.一种基于视频深度特征识别和子空间聚类的管道缺陷检测方法，其特征在于，该方法包括以下步骤：S10、管道缺陷检测视频中的图像分类，将管道缺陷检测视频中所有帧图像先经过缺陷分类器，通过缺陷分类器得到所有帧图像的缺陷类型识别结果 、缺陷帧特征 以及16类缺陷和1类无缺陷计算分值 ；
S20、子空间聚类算法，将缺陷分类器提取的缺陷帧特征 通过子空间聚类算法，根据缺陷类型识别结果 ，对缺陷帧特征 进行聚类计算，得到关于时间序列的缺陷帧特征聚类结果 ；
S30、关键帧图像的获取，根据缺陷帧特征聚类结果 对每个聚类中的缺陷帧特征 计算关键值 ，挑选出每个聚类中的关键值 最高的缺陷帧作为关键帧特征，并将关键帧特征转换为关键帧图像作为样本存档；
S301、在每个管道缺陷检测视频中，在缺陷类型聚类计算完成后，为每个聚类中挑选一张该缺陷类型的关键图像进行存储记录；
S302、挑选关键帧时，将缺陷帧特征 转换为缺陷类帧图像F，根据一个聚类中每一个帧图像的图像清晰度计算值 与缺陷类型识别得到的16类缺陷和1类无缺陷得分 ,选取相加得到的帧关键值 最高的帧图像作为该聚类的关键帧。
2.根据权利要求1所述的基于视频深度特征识别和子空间聚类的管道缺陷检测方法，其特征在于，步骤S10中，对管道缺陷检测视频中每一帧图像进行缺陷类型识别，管道缺陷分为16类缺陷，其中6类为常见缺陷类型，其余10类为不常见缺陷类型。
3.根据权利要求2所述的基于视频深度特征识别和子空间聚类的管道缺陷检测方法，其特征在于，步骤S10中，在缺陷分类器中引入欠采样代表性算法BalanceCascade，并根据管道缺陷类分布特性进行优化，以提高缺陷分类的准确性。
4.根据权利要求3所述的基于视频深度特征识别和子空间聚类的管道缺陷检测方法，其特征在于，根据管道缺陷类分布特性进行优化包括以下的步骤：S101、在原BalanceCascade算法基础上，在挑选子集部分对其算法进行优化，即根据
2.5：2.5：5的比例从6类常见缺陷类型中挑选出与10类不常见 缺陷类型数量相等的未训练类样本、仅功能性结构性判断正确类 样本、判断完全错误类 样本，训练出一个MobileNet基分类器；
S102、使用MobileNet基分类器对全体多数类进行预测，通过控制分类阈值来控制假正例率,将常见缺陷类型中判断正确的类所有样本删除，保留仅功能性结构性判断正确类样本和判断完全错误类样本。
5.根据权利要求1所述的基于视频深度特征识别和子空间聚类的管道缺陷检测方法，其特征在于，步骤S20包括以下的步骤：S201、将缺陷帧特征 根据时间顺序，将每个帧特征记为 ；其中 为视频中以时间为顺序的帧号；
S202、将时间顺序反应在特征表示系数 中，使相邻域具有相似性，即 ；
S203、使用空间序列低秩稀疏子空间聚类为序列数据带来更好的聚类效果，目标函数如下：；
其中， 为下三角矩阵，对角线上元素为‑1，第二对角线上元素为1；第一项是用最小二乘法测量误差 ，即 ；第二项用 控制低秩性；第三项用 控制稀疏度；第四项用 控制平滑度，参数 决定正则化强度； 为视频中每个帧矢量化为单个列并与相邻帧并排放置以形成数据矩阵； 为Frobenius范数。
6.根据权利要求1所述的基于视频深度特征识别和子空间聚类的管道缺陷检测方法，其特征在于，步骤S302中，包括以下的步骤：S3021、设输入的帧图像F在RGB色彩空间中描述，将帧图像F变换至色彩空间 ，转换公式为：；
其中，x、y和m、n分别表示 在RGB空间中点（x，y）和（m、n）处的分量值；表示变换算法，将图像从RGB颜色空间中的（m,n）分量转换到新颜色空间 中的（x、y）分量，其具体流程如下：；
其中， 为变换系数，且确定的 可由不同的R、G、B线性表示， 其中一维 分量表述图像的亮度分量；
S3022、使用 作为梯度计算相邻像素梯度值 ：；
S3023、为了能够在不同色彩空间下分辨出细节边缘像素的色彩属性，以三刺激值方差描述色差评价参数 ：；
其中 、 和 分别代表RGB颜色空间中相应的红、绿和蓝色的x, y分量；
S3024、为使计算图像清晰度时，评价函数对图像有较强的鲁棒性，加入 作为参考像素（x，y）点的对数放大系数：；
S3025、得到最终的图像清晰度计算值 的公式为：；
其中， 为图像清晰度， 为缺陷识别得到的16类缺陷和1类无缺陷得分的系数。
7.根据权利要求6所述的基于视频深度特征识别和子空间聚类的管道缺陷检测方法，其特征在于，所述色彩空间 为HSI色彩空间或YCbCr色彩空间。
基于视频深度特征识别和子空间聚类的管道缺陷检测方法
技术领域
[0001] 本发明涉及管道检测技术领域，更具体的说，本发明涉及一种基于视频深度特征识别和子空间聚类的管道缺陷检测方法。
背景技术
[0002] 传统的管道缺陷识别方法采用人工实时检测，或采用传统的典型缺陷检测算法Haar特征+Adaboost算法、Hog特征+Svm算法、DPM算法等进行缺陷检测。人工检测工作量大，采用传统算法也存在一些问题：传统的缺陷检测算法使用滑动窗口选择候选区域时没有针对性，同时，使用滑动窗口遍历一张图片时，所有的窗口都要分别进行一次计算，时间复杂度高，窗口冗余。这严重影响了后面的特征提取以及分类的效率。窗口的大小需要手工设定，需要设置不同的尺度以致鲁棒性不高。此外，在进行特征提取时，由于缺陷形态特征的多样性，光照强度以及背景变化的影响使得特征提取没有很好地鲁棒性，这也直接影响了分类的准确率。
发明内容
[0003] 为了克服现有技术的不足，本发明提供一种基于视频深度特征识别和子空间聚类的管道缺陷检测方法。
[0004] 本发明解决其技术问题所采用的技术方案是：一种基于视频深度特征识别和子空间聚类的管道缺陷检测方法，其改进之处在于，该方法包括以下步骤：
[0005] S10、管道缺陷检测视频中的图像分类，将管道缺陷检测视频中所有帧图像先经过缺陷分类器，通过缺陷分类器得到所有帧图像的缺陷类型识别结果 、缺陷帧特征 以及16类缺陷和1类无缺陷计算分值 ；
[0006] S20、子空间聚类算法，将缺陷分类器提取的缺陷帧特征 通过子空间聚类算法，根据缺陷类型识别结果 ，对缺陷帧特征 进行聚类计算，得到关于时间序列的缺陷帧特征聚类结果 ；
[0007] S30、关键帧图像的获取，根据缺陷帧特征聚类结果 对每个聚类中的缺陷帧特征计算关键值 ，挑选出每个聚类中的关键值 最高的缺陷帧作为关键帧特征，并将关键帧特征转换为关键帧图像作为样本存档。
[0008] 进一步的，步骤S10中，对管道缺陷检测视频中每一帧图像进行缺陷类型识别，管道缺陷分为16类缺陷，其中6类为常见缺陷类型，其余10类为不常见缺陷类型。
[0009] 进一步的，步骤S10中，在缺陷分类器中引入欠采样代表性算法BalanceCascade，并根据管道缺陷类分布特性进行优化，以提高缺陷分类的准确性。
[0010] 进一步的，根据管道缺陷类分布特性进行优化包括以下的步骤：
[0011] S101、在原BalanceCascade算法基础上，在挑选子集部分对其算法进行优化，即根据2.5：2.5：5的比例从6类常见缺陷类型中挑选出与10类罕见缺陷类型数量相等的未训练类样本、仅功能性结构性判断正确样本、判断完全错误样本，训练出一个MobileNet基分类器；
[0012] S102、使用MobileNet基分类器对全体多数类进行预测，通过控制分类阈值来控制假正例率,将常见缺陷类型中判断正确的类所有样本删除，保留仅功能性、结构性判断正确类样本和判断完全错误类样本。
[0013] 进一步的，步骤S20包括以下的步骤：
[0014] S201、将缺陷帧特征 根据时间顺序，将每个帧特征记为 ；其中 为视频中以时间为顺序的帧号；
[0015] S202、将时间顺序反应在特征表示系数 中，使相邻域具有相似性，即；
[0016] S203、使用空间序列低秩稀疏子空间聚类为序列数据带来更好的聚类效果，目标函数如下：
[0017] ；
[0018] ；
[0019] 其中， 为下三角矩阵，对角线上元素为‑1，第二对角线上元素为1；第一项是用最小二乘法测量误差 ，即 ；第二项用 控制低秩性；第三项用 控制稀疏度；第四项用 控制平滑度，参数 决定正则化强度； 为视频中每个帧
矢量化为单个列并与相邻帧并排放置以形成数据矩阵； 为Frobenius范数。
[0020] 进一步的，步骤S30包括以下的步骤：
[0021] S301、在每个管道缺陷检测视频中，在缺陷类型聚类计算完成后，为每个聚类中挑选一张该缺陷类型的关键图像进行存储记录；
[0022] S302、挑选关键帧时，将缺陷帧特征 转换为缺陷类帧图像F，根据一个聚类中每一个帧图像的图像清晰度计算值 与缺陷类型识别得到的16类缺陷和1类无缺陷得分，选取相加得到的帧关键值 最高的帧图像作为该聚类的关键帧。
[0023] 进一步的，步骤S302中，包括以下的步骤：
[0024] S3021、设输入的帧图像F在RGB色彩空间中描述，将帧图像F变换至色彩空间 ，转换公式为：
[0025] ；
[0026] 其中，x、y和m、n分别表示 在RGB空间中点（x，y）和（m、n）处的分量值；表示变换算法，将图像从RGB颜色空间中的（m,n）分量转换到新颜色空间 中的（x、y）分量，其具体流程如下：
[0027] ；
[0028] 其中， 为变换系数，且确定的 可由不同的R、G、B线性表示， 其中一维 分量表述图像的亮度分量；
[0029] S3022、使用 作为梯度计算相邻像素梯度值 ：
[0030] ；
[0031] S3023、为了能够在不同色彩空间下分辨出细节边缘像素的色彩属性，以三刺激值方差描述色差评价参数 ：
[0032] ；
[0033] 其中 、 和 分别代表RGB颜色空间中相应的红、绿和蓝色的x, y分量。
[0034] S3024、为使计算图像清晰度时，评价函数对图像有较强的鲁棒性，加入 作为参考像素（x，y）点的对数放大系数：
[0035] ；
[0036] S3025、得到最终的图像清晰度计算值 的公式为：
[0037] ；
[0038] 聚类算法中每一帧的关键值 的计算公式为：
[0039] ；
[0040] 其中， 为图像清晰度， 为缺陷识别得到的16类缺陷和1类无缺陷得分的系数。
[0041] 进一步的，所述色彩空间 为HSI色彩空间或YCbCr色彩空间。
[0042] 本发明的有益效果是：只需要在缺陷类型聚类完成后为每个聚类中挑选一张该缺陷类型的关键图像进行存储记录，节约了存储成本；通过关键帧算法，能够准确的挑选出每个聚类中关键值最高的缺陷帧，准确率高，算法优化合理。
附图说明
[0043] 图1为本发明的基于视频深度特征识别和子空间聚类的管道缺陷检测方法的流程示意图。
[0044] 图2为本发明的基于视频深度特征识别和子空间聚类的管道缺陷检测方法的具体实施例图。
[0045] 图3为原MobileNet结构与修改部分的结构示意图。
具体实施方式
[0046] 下面结合附图和实施例对本发明进一步说明。
[0047] 以下将结合实施例和附图对本发明的构思、具体结构及产生的技术效果进行清楚、完整地描述，以充分地理解本发明的目的、特征和效果。显然，所描述的实施例只是本发明的一部分实施例，而不是全部实施例，基于本发明的实施例，本领域的技术人员在不付出创造性劳动的前提下所获得的其他实施例，均属于本发明保护的范围。另外，专利中涉及到的所有联接/连接关系，并非单指构件直接相接，而是指可根据具体实施情况，通过添加或减少联接辅件，来组成更优的联接结构。本发明创造中的各个技术特征，在不互相矛盾冲突的前提下可以交互组合。
[0048] 参照图1、图2所示，本发明揭示了一种基于视频深度特征识别和子空间聚类的管道缺陷检测方法，在本实施例中，该方法包括以下步骤：
[0049] S10、管道缺陷检测视频中的图像分类，将管道缺陷检测视频中所有帧图像先经过缺陷分类器，通过缺陷分类器得到所有帧图像的缺陷类型识别结果 、缺陷帧特征 以及16类缺陷和1类无缺陷计算分值 ；
[0050] 具体的，结合图2、图3所示，步骤S10中，对管道缺陷检测视频中每一帧图像进行缺陷类型识别，并根据行业标准管道缺陷分为16类缺陷，其中6类为常见缺陷类型，其余10类为不常见缺陷类型。
[0051] 本发明缺陷类型识别任务使用监督学习，采用Google提出的一种小巧而高效的CNN模型MobileNet。在MobileNet中，首先是一个3x3的标准卷积，随后就是堆积深度级可分离卷积（Depthwise separable convolution），并且中间在Depthwise convolution会通过strides=2进行down sampling。然后采用Average Pooling将Feature变成1x1，根据预测类别大小加上全连接层，最后是一个softmax层。其中单独计算Depthwiseconvolution和Pointwise convolution，整个网络有28层（这里Avg Pool和Softmax不计算在内）。
[0052] 由于最初用于处理1000类的图像分类任务，我们需要将最后一个FC全连接层修改为17个神经元，详情如图3所示。
[0053] 因管道缺陷类型中的10类不常见缺陷类型比较罕见，训练样本相对较少，而数据集中不同类样本数量差别很大，会对学习过程造成困扰。
[0054] 步骤S10中，在缺陷分类器中引入欠采样代表性算法BalanceCascade，并根据管道缺陷类分布特性进行优化，以提高缺陷分类的准确性，解决缺陷类不平衡问题。
[0055] 由于所有管道缺陷类型可分为结构性和功能性两大类，在本实施例中，根据管道缺陷类分布特性进行优化包括以下的步骤：
[0056] S101、在原BalanceCascade算法基础上，在挑选子集部分对其算法进行优化，即根据2.5：2.5：5的比例从6类常见缺陷类型中挑选出与10类罕见缺陷类型数量相等的未训练类样本、仅功能性结构性判断正确样本、判断完全错误样本，训练出一个MobileNet基分类器；
[0057] S102、使用MobileNet基分类器对全体多数类进行预测，通过控制分类阈值来控制假正例率,将常见缺陷类型中判断正确的类所有样本删除，保留仅功能性、结构性判断正确类样本和判断完全错误类样本。
[0058] S20、子空间聚类算法，将缺陷分类器提取的缺陷帧特征 通过子空间聚类算法，根据缺陷类型识别结果 ，对缺陷帧特征 进行聚类计算，得到关于时间序列的缺陷帧特征聚类结果 ；
[0059] 在本实施例中，由于视频中一个缺陷可能存在几十甚至上百帧，这将导致存储内存浪费等问题。为解决该问题，本发明引入子空间聚类思想，把相邻时间内属于同一中缺陷类型的帧特征聚合成一类，以便后面挑选关键帧。
[0060] 本实施例中，所述的步骤S20包括以下的步骤：
[0061] S201、将缺陷帧特征 根据时间顺序，将每个帧特征记为 ；其中 为视频中以时间为顺序的帧号；
[0062] S202、将时间顺序反应在特征表示系数 中，使相邻域具有相似性，即 ；
[0063] S203、使用空间序列低秩稀疏子空间聚类为序列数据带来更好的聚类效果，目标函数如下：
[0064] ；
[0065] ；
[0066] 其中， 为下三角矩阵，对角线上元素为‑1，第二对角线上元素为1；第一项是用最小二乘法测量误差 ，即 ；第二项用 控制低秩性；第三项用 控制稀疏度；第四项用 控制平滑度，参数 决定正则化强度； 为视频中每个帧矢量化为单个列并与相邻帧并排放置以形成数据矩阵； 为Frobenius范数。
[0067] S30、关键帧图像的获取，根据缺陷帧特征聚类结果 对每个聚类中的缺陷帧特征 计算关键值 ，挑选出每个聚类中的关键值 最高的缺陷帧作为关键帧特征，并将关键帧特征转换为关键帧图像作为样本存档。
[0068] 在本实施例中，步骤S30包括以下的步骤：
[0069] S301、在每个管道缺陷检测视频中，在缺陷类型聚类计算完成后，为每个聚类中挑选一张该缺陷类型的关键图像进行存储记录；节约存储成本；
[0070] S302、挑选关键帧时，将缺陷帧特征 转换为缺陷类帧图像F，根据一个聚类中每一个帧图像的图像清晰度计算值 与缺陷类型识别得到的16类缺陷和1类无缺陷得分，选取相加得到的帧关键值 最高的帧图像作为该聚类的关键帧。
[0071] 更为具体的，步骤S302中，包括以下的步骤：
[0072] S3021、设输入的帧图像F在RGB色彩空间中描述，将帧图像F变换至色彩空间 ，转换公式为：
[0073] ；
[0074] 其中，x、y和m、n分别表示 在RGB空间中点（x，y）和（m、n）处的分量值；表示变换算法，将图像从RGB颜色空间中的（m,n）分量转换到新颜色空间 中的（x、y）分量，其具体流程如下：
[0075] ；
[0076] 其中， 为变换系数，且确定的 可由不同的R、G、B线性表示， 其中一维 分量表述图像的亮度分量；
[0077] 并且，本实施例中，所述色彩空间 为HSI色彩空间、YCbCr色彩空间中的任意一种；
[0078] S3022、使用 作为梯度计算相邻像素梯度值 ：
[0079] ；
[0080] S3023、为了能够在不同色彩空间下分辨出细节边缘像素的色彩属性，以三刺激值方差描述色差评价参数 ：
[0081] ；
[0082] 其中 、 和 分别代表RGB颜色空间中相应的红、绿和蓝色的x, y分量；
[0083] S3024、为使计算图像清晰度时，评价函数对图像有较强的鲁棒性，加入 作为参考像素（x，y）点的对数放大系数：
[0084] ；
[0085] S3025、得到最终的图像清晰度计算值 的公式为：
[0086] ；
[0087] 关键值 计算公式为：
[0088] ；
[0089] 其中， 为图像清晰度， 为缺陷识别得到的16类缺陷和1类无缺陷得分的系数。
[0090] 基于上述的实施例，本发明提供的一种基于视频深度特征识别和子空间聚类的管道缺陷检测方法，该方法具有以下的优点，其一，通过引入子空间聚类思想，把相邻时间内属于同一中缺陷类型的帧特征聚合成一类，以便后面挑选关键帧，有效的克服了现有技术视频中一个缺陷可能存在几十甚至上百帧，导致存储内存浪费的问题；其二、只需要在缺陷类型聚类完成后为每个聚类中挑选一张该缺陷类型的关键图像进行存储记录，节约了存储成本；其三、通过关键帧算法，能够准确的挑选出每个聚类中关键值最高的缺陷帧，准确率高，算法优化合理。
[0091] 以上是对本发明的较佳实施进行了具体说明，但本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。
