基于视觉和磁粉相结合的水下无损探伤设备及处理方法

摘要

本发明公开了基于视觉和磁粉相结合的水下无损探伤设备及处理方法，采用磁粉和视觉相结合的方式面向水下管线进行探伤作业，水下无损探伤设备包括：水下无损探伤装置和水下可移动平台，水下无损探伤装置固定于水下可移动平台；其中水下无损探伤装置主要包括：探伤仪控制模块、摄像模块、通信模块及图像处理模块，水下可移动平台主要包括运动控制模块。本发明采用运动控制模块实现水下可移动平台的定位和移动；采用探伤仪控制模块实现磁悬液的喷淋；采用摄像模块采集水下磁粉探伤仪吸附管线前后的图像信息；采用通信模块上传位置信息以及图像信息；通过对磁粉探伤数据和视觉图像数据提炼并融合高层语义信息，实现了对水下管线的自主巡检和无损探伤。

权利要求

1.基于视觉和磁粉相结合的水下无损探伤设备的处理方法,其特征在于：包括水下无损探伤装置和水下可移动平台，所述水下无损探伤装置规定于水下可移动平台；其中所述水下无损探伤装置主要包括探伤仪控制模块、摄像模块、通信模块及图像处理模块，所述探伤仪控制模块分别连接摄像模块、通信模块及图像处理模块，所述水下可移动平台主要包括运动控制模块，所述运动控制模块包括深度计、陀螺仪、磁力计、万向轮、吸附装置和推进器，所述深度计、陀螺仪、磁力计均固定于水下可移动平台上，所述万向轮安装于水下可移动平台底部，所述吸附装置和推进器均安装于水下可移动平台底部；

所述水下无损探伤装置还包括万向节、软管、磁悬液喷淋头以及磁粉探伤仪，所述磁粉探伤仪、软管以及摄像头模块通过万向节固定在水下可移动平台上，通过调节万向节调整各模块角度，所述磁悬液通过软管以及磁悬液喷淋头进行喷淋；

处理方法包括以下步骤：

S1.水下无损探伤实时控制系统基于运动控制模块定位并吸附在管线上，反馈位姿信息；

S2.水下无损探伤实时控制系统巡检工件，喷淋磁悬液；

S3.水下无损探伤实时控制系统巡检工件，采集带有磁悬液的图像信息并上传；

S4.水下无损探伤实时控制系统巡检工件，探伤仪吸附磁悬液；

S5.水下无损探伤实时控制系统巡检工件，采集磁粉吸附后的图像信息并上传；

S6.将吸附前后的图像进行对比，找出差异点；

S7.基于结构相似性、灰度差异度、颜色丰富度标记差异点图像；

S8.基于MCF‑VGG图像分类模型对预处理过的图像进行聚类并上传；MCF‑VGG图像分类模型以VGG‑19模型为基础，所述图像分类模型分类5组并使用3x3的卷积核，所述图像分类模型在第3层、第5层和第9层添加马尔可夫随机场约束，对水下图像进行空间局部限制。

2.根据权利要求1所述的基于视觉和磁粉相结合的水下无损探伤设备的处理方法，其特征在于：所述步骤S1具体为：所述运动控制模块，调节吸附模块与管线之间的相对吸附力实现吸附功能，通过万向轮以及对推进器的控制，实现装置在管线上的移动，将装置最终在管线上吸附的位置通过通信模块传输到PC。

3.根据权利要求1所述的基于视觉和磁粉相结合的水下无损探伤设备的处理方法，其特征在于：所述步骤S3为：运动控制模块巡检管线一周时，摄像模块记录管线一周的图像，生成喷淋磁悬液后的水下管线全景图像，将管线图像信息通过通信模块上传到PC。

4.根据权利要求1所述的基于视觉和磁粉相结合的水下无损探伤设备的处理方法，其特征在于：所述步骤S6为：通过对喷淋磁悬液以及吸附磁悬液后的图像信息进行对比，通过图像处理模块对损伤图像进行分类。

5.根据权利要求1所述的基于视觉和磁粉相结合的水下无损探伤设备的处理方法，其特征在于：所述步骤S7为：基于图像处理模块，通过对喷淋磁悬液前后的图像信息进行对比，基于图像结构相似性、灰度差异度以及颜色丰富度三个特征，考虑到缺陷位置存在磁悬液残留，接近于黑色，对图像进行预分类。

6.根据权利要求1所述的基于视觉和磁粉相结合的水下无损探伤设备的处理方法，其特征在于：所述步骤S8为：基于图像处理模块，分类后的图像通过MCF‑VGG图像分类模型聚类特征，实现对图像的分类，再对分类后的图像采取对应标记。

说明书

基于视觉和磁粉相结合的水下无损探伤设备及处理方法

技术领域

[0001] 本发明涉及水下无损探伤技术领域，具体为基于视觉和磁粉相结合的水下无损探伤设备及处理方法。

背景技术

[0002] 随着海洋资源的不断开发，海上的移动装置和固定装置越来越多，为方便能源的运输，水下管线也呈现爆发式增长，当海底管线埋深不足时，海底波流反复冲刷会造成管线
连接处发生疲劳破坏；航锚或者是船上落物撞击也会造成管线损伤，严重时会造成管线断
裂；若管线铺设在砂质海床等存在很大的流变性的不稳定海床上，有时会由于海床塌陷、滑
动、冲蚀而发生强度或变形破坏。所以，海底管线需要定期检修。

[0003] 传统管线水下无损探伤技术主要依赖于人工下潜探伤，作业人员需要长时间待在海底完成检测作业，上述过程不仅对工作人员的身体素质要求很大，检测结果也参差不齐，
相关水下探伤器的研究最多涉及到水下探伤器自主探伤以及图像信息传输的流程，图像分
析仍需人工完成，目前急需一种新的解决方案。

发明内容

[0004] 本发明的目的在于提供基于视觉和磁粉相结合的水下无损探伤设备及处理方法，以解决上述背景技术中提出的问题。

[0005] 为实现上述目的，本发明提供如下技术方案：基于视觉和磁粉相结合的水下无损探伤设备,包括水下无损探伤装置和水下可移动平台，所述水下无损探伤装置规定于水下
可移动平台；其中所述水下无损探伤装置主要包括探伤仪控制模块、摄像模块、通信模块及
图像处理模块，所述探伤仪控制模块分别连接摄像模块、通信模块及图像处理模块，所述水
下可移动平台主要包括运动控制模块，所述运动控制模块包括深度计、陀螺仪、磁力计、万
向轮、吸附装置和推进器，所述深度计、陀螺仪、磁力计均固定于水下可移动平台上，所述万
向轮安装于水下可移动平台底部，所述吸附装置和推进器均安装于水下可移动平台底部。

[0006] 优选的，所述水下无损探伤装置还包括万向节、软管、磁悬液喷淋头以及磁粉探伤仪，所述磁粉探伤仪、软管以及摄像头模块通过万向节固定在水下可移动平台上，通过调节
万向节调整各模块角度，所述磁悬液通过软管以及磁悬液喷淋头进行喷淋。

[0007] 优选的，处理方法包括以下步骤：

[0008] S1.水下无损探伤实时控制系统基于运动控制模块定位并吸附在管线上，反馈位姿信息；

[0009] S2.水下无损探伤实时控制系统巡检工件，喷淋磁悬液；

[0010] S3.水下无损探伤实时控制系统巡检工件，采集带有磁悬液的图像信息并上传；

[0011] S4.水下无损探伤实时控制系统巡检工件，探伤仪吸附磁悬液；

[0012] S5.水下无损探伤实时控制系统巡检工件，采集磁粉吸附后的图像信息并上传；

[0013] S6.将吸附前后的图像进行对比，找出差异点；

[0014] S7.基于结构相似性、灰度差异度、颜色丰富度标记差异点图像；

[0015] S8.基于MCF‑VGG图像分类模型对预处理过的图像进行聚类并上传。

[0016] 优选的，所述步骤S1具体为：所述运动控制模块，调节吸附模块与管线之间的相对吸附力实现吸附功能，通过万向轮以及对推进器的控制，实现装置在管线上的移动，将装置
最终在管线上吸附的位置通过通信模块传输到PC。

[0017] 优选的，所述步骤S3为：运动控制模块巡检管线一周时，摄像模块记录管线一周的图像，生成喷淋磁悬液后的水下管线全景图像，将管线图像信息通过通信模块上传到PC。

[0018] 优选的，所述步骤S6为：通过对喷淋磁悬液以及吸附磁悬液后的图像信息进行对比，通过图像处理模块对损伤图像进行分类。

[0019] 优选的，所述步骤S7为：基于图像处理模块，通过对喷淋磁悬液前后的图像信息进行对比，基于图像结构相似性、灰度差异度以及颜色丰富度三个特征，考虑到缺陷位置存在
磁悬液残留，接近于黑色，对图像进行预分类。

[0020] 优选的，所述步骤S8为：基于图像处理模块，考虑到喷淋磁悬液后的图像局部相似性较强，分类后的图像通过MCF‑VGG图像分类模型聚类特征，实现对图像的分类，再对分类
后的图像采取对应标记。

[0021] 与现有技术相比，本发明的有益效果是：本发明提供的装置及方法实现了水下磁粉、视觉无损探伤的一体化作业流程，并且采用MCF‑VGG图像分类模型对检出损伤进行分
类，与人工探伤相比，具有明确的量化指标，从根本上解决了由于工人的专业水准对损伤检
出率的影响，极大提高了水下磁粉探伤的探伤效果。

附图说明

[0022] 图1是本发明提供的一种基于视觉和磁粉相结合的水下无损探伤设备及处理方法的流程图；

[0023] 图2是本发明提供的一种基于视觉和磁粉相结合的水下无损探伤设备及处理方法的机械结构图；

[0024] 附图标记：1、深度计；2、陀螺仪；3、磁粉探伤仪；4、万向轮；5、磁力计；6、摄像头模块；7、万向节；8、吸附装置；9、通信模块；10、推进器；11、软管；12、磁悬液喷淋头。

具体实施方式

[0025] 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于
本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他
实施例，都属于本发明保护的范围。

[0026] 在本发明的描述中，需要说明的是，术语“上”、“下”、“内”、“外”“前端”、“后端”、“两端”、“一端”、“另一端”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅
是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的
方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第
二”仅用于描述目的，而不能理解为指示或暗示相对重要性。

[0027] 在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“设置有”、“连接”等，应做广义理解，例如“连接”，可以是固定连接，也可以是可拆卸连接，或一
体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接
相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上
述术语在本发明中的具体含义。

[0028] 请参阅图1，本发明提供一种技术方案：基于视觉和磁粉相结合的水下无损探伤设备，包括以下步骤：

[0029] S1：基于运动控制模块定位并吸附在管线上，反馈运动控制模块的位置；

[0030] 水下可移动平台主要包含运动控制模块，所述运动控制模块由深度计1、陀螺仪2、磁力计5、万向轮4、吸附装置8和推进器10组成。其中水下无损探伤装置由磁粉探伤仪3、摄
像头模块6、万向节7、软管11、磁悬液喷淋头12和通信模块9组成，其中，磁粉探伤仪3、摄像
头模块6、软管11通过万向节7固定在水下可移动平台上，磁悬液通过软管11经过磁悬液喷
淋头12进行喷淋。

[0031] 水下可移动平台通过控制管线相对吸附力和推进器速度，可以实现系统吸附在管线上移动的功能。通过深度计、陀螺仪、加速度计以及磁力计检测到的数据，可以实现基于
位置信息的负反馈功能，实现对系统位置的矫正。

[0032] S2：水下无损探伤实时控制系统巡检工件一周并喷淋磁悬液；

[0033] 系统通过调整与管线之间的相对吸附力以及对推进器的控制，吸附在管线上巡检管线一周，通过调整系统与各模块之间的活关节偏转角度，可以保证磁悬液喷淋在管线上
的效果。

[0034] S3：水下无损探伤实时控制系统巡检工件、采集图像信息并上传；

[0035] 系统通过调整与管线之间的相对吸附力以及对推进器的控制，吸附在管线上巡检管线一周，同时摄像模块拍摄喷淋过磁悬液的管线图像信息，通过通信模块将图像信息上
传到PC。

[0036] S4：水下无损探伤实时控制系统巡检工件、打开探伤仪吸附磁悬液；

[0037] 系统通过调整与管线之间的相对吸附力以及对推进器的控制，吸附在管线上巡检管线一周，同时通过探伤仪控制模块启动磁粉探伤仪，对喷淋磁悬液进行吸附。

[0038] S5：水下无损探伤实时控制系统巡检工件，再次采集图像信息并上传；

[0039] 系统通过调整与管线之间的相对吸附力以及对推进器的控制，吸附在管线上巡检管线一周，同时摄像模块拍摄磁粉探伤仪吸附过磁悬液的管线图像信息，通过通信模块将
图像信息上传到PC。

[0040] S6.将吸附前后的图像进行对比，找出差异点；

[0041] S7.基于结构相似性、灰度差异度、颜色丰富度标记差异点图像；

[0042] 基于摄像模块和通信模块获取的磁粉探伤仪吸附前后的图像信息，构建图像的结构相似指数，将前后图像进行对比，对存在磁悬液位置即存在缺陷位置进行标记。

[0043] 图像处理模块在PC端进行，所述图像处理包括构造图像的结构相似指数标记差异点，通过图像的灰度差异化和颜色丰富度进行预分类，所述缺陷分类采用MCF‑VGG图像分类
模型进行分类。所述结构相似性采用如下公式：

[0044]

[0045] 所述结构相似性公式中，μx是图像x的平均值，μy是图像y的平均值，σx2是图像x的2
方差，σy是图像y的方差，σxy是图像x和y的协方差，c1和c2为维持稳定的常数。

[0046] 所述结构相似性公式中，用均值作为亮度的估计，标准差作为对比度的估计，协方差作为结构相似程度的度量。SSIM的值越小，图像间相似度越差。

[0047] 基于摄像模块采集磁粉探伤仪吸附后管线缺陷处的图像信息，并基于通信模块将所述图像信息上传至PC端，图像处理模块构建管线缺陷处图像模型，对所述图像进行数字
化处理，建立灰度差异度公式如下：

[0048]

[0049] 所述的灰度差异度公式中，D为灰度差异度，di为第i个像素的RGB三值与其平均值之差的平方和，N为图像中像素个数。所述公式中d具体为：

[0050]

[0051] 所述的灰度值公式中，R为各像素在红色通道的数值，G为各像素在绿色通道的数值，B为各像素在蓝色通道的数值，average为各像素在R、G、B三个通道的平均值。所述公式
中average如下：

[0052]

[0053] 所述构建的灰度差异度公式中，若RGB三值的平均值越接近255，图像越接近无色彩，若RGB三值的平均值越接近于0，图像越接近黑色；若RGB三值差异较大时，图像呈现出一
定的色彩。

[0054] 所述构建的灰度差异度公式中，存在缺陷位置由于喷淋了磁悬液呈现黑色，RGB三值的平均值更接近于0，因而D值较小，而色彩鲜明的其他区域，RGB三值各异，D值较大。

[0055] 所述图像模型中，首先将颜色空间由RGB转换成HSV，其中H表示为像素色调，S表示为像素饱和度，V表示为像素亮度。之后将所述颜色空间均匀地量化成256个颜色，即将HSV
的三维空间转换成一维的特征空间，量化颜色为C如下：

[0056] C＝{ci|i＝0,1,2,...,255}

[0057] 所述量化颜色定义中，Ci为第i种量化颜色。将图像中包含的颜色数定义为颜色的丰富度E，图像颜色丰富度公式如下：

[0058]

[0059] 所述颜色丰富度公式中，存在缺陷位置由于喷淋了磁悬液呈现黑色，图像E值会较小，其他部分像素为彩色的，就算D值不明显，但E值会很大。

[0060] S8.基于MCF‑VGG图像分类模型对预处理过的图像进行聚类并上传；

[0061] MCF‑VGG图像分类模型以VGG‑19模型为基础，该网络模型分类5组并使用3x3的卷积核，本模型在第3层、第5层和第9层添加马尔可夫随机场约束，对水下图像进行空间局部
限制。由于喷淋磁悬液后图像局部相似性较强，对其局部细节特征提取极为重要。

[0062] 马尔可夫随机场约束定义为：设 为 取局部块的特征映射集，每个图像块被索引为 并且大小为k×k×C，其中k为块的高度和宽度，C为所在层的通道
数，将势能函数设置为：

[0063]

[0064] 势能函数中，EMRF为马尔可夫随机场约束， 为从每一个块 中找到最好的匹配块，使用归一化交叉相关系数在所有 的mr块中，得到归一化交叉互
相关函数为：

[0065]

[0066] 归一化交叉互相关函数中，m为 的基数； 为从 取局部块的特征映射集。

[0067] MCF‑VGG图像分类模型中，存在缺陷位置由于喷淋了磁悬液呈现黑色，提取周围图像块细节特征，对缺陷图像进行分类。若缺陷在全图像占比小于等于3％，则认为是存在细
微缺陷可以标记为隐性缺陷；若缺陷在全图像占比大于3％且小于等于20％，则认为是存在
一般缺陷标记为一般缺陷；若缺陷在全图像占比大于20％，则认为是存在严重焊缝标记为
严重焊缝并报警。

[0068] 综上所述，本发明提供的装置及方法实现了水下磁粉、视觉无损探伤的一体化作业流程，并且采用MCF‑VGG图像分类模型对检出损伤进行分类，与人工探伤相比，具有明确
的量化指标，从根本上解决了由于工人的专业水准对损伤检出率的影响，极大提高了水下
磁粉探伤的探伤效果。

[0069] 对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论
从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权
利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有
变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。