一种用于高铁箱梁裂缝自动化检测的相机阵列式成像方法转让专利

申请号 : CN202110463929.8

文献号 : CN113358659B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 朱文发张文静柴晓冬李立明范国鹏张辉

申请人 : 上海工程技术大学

摘要 :

本发明公开了一种用于高铁箱梁裂缝自动化检测的相机阵列式成像方法,包括如下步骤:S1、使轨检小车行驶至需要缺陷检测的高铁箱梁内;S2、随着轨检小车的移动,设于轨检小车上的相机光源模块中的摄像机对高铁箱梁的内壁进行拍摄,并将拍摄的图像传递给计算机;S3、计算机采用MATLAB软件对接受的图像分别通过卷积神经网络进行缺陷的检测与分类和通过三维重建网络进行三维重建,最后将卷积神经网络分辨出的缺陷融合入三维重建网络重建的三维图像中,实现高铁箱梁内壁的缺陷检测。本发明不仅可实现对高铁箱梁裂缝的自动化检测,检测速度快、效率高,而且可对高铁箱梁进行远距离、全方位的缺陷识别与检测。

权利要求 :

1.一种用于高铁箱梁裂缝自动化检测的相机阵列式成像方法,其特征在于,包括如下步骤:S1、使轨检小车行驶至需要缺陷检测的高铁箱梁内,所述轨检小车的顶端设有相机支架,所述相机支架设有圆形的相机安装部,所述相机安装部上沿圆周方向左右对称设有多个相机光源模块,所述相机光源模块包括摄像机和环设于摄像机外部的圆形光圈;

S2、随着轨检小车的移动,设于轨检小车上的相机光源模块中的摄像机对高铁箱梁的内壁进行拍摄,并将拍摄的图像传递给计算机;

S3、计算机采用MATLAB软件对接受的图像分别通过卷积神经网络进行缺陷的检测与分类和通过三维重建网络进行三维重建,最后将卷积神经网络分辨出的缺陷融合入三维重建网络重建的三维图像中,实现高铁箱梁内壁的缺陷检测,具体包括如下操作:S31、采用SSD目标检测算法对步骤S2拍摄的高铁箱梁内壁的图像进行检测和分类:S311、在MATLAB软件中采用PBS算法对图像进行增强处理:由I=S×R中输入图像I和光照图像S的关系,通过色彩空间一致性、纹理一致性和曝光度一致性3个约束进行图像增强,并通过优化方程优化光照图像估计,优化方程为:公式(1)中,Ed是使S尽可能接近于S’, p代表像素,c∈{r,g,b};Ec,Et,Ee是为了进行色彩、纹理和曝光度的感知性双向相似性约束,λ是权重值;

S312、将处理后的图像进行平移、放大、45度自由旋转后对图像进行标记,以配置目标检测训练集;

S313、通过SSD目标检测算法对图像进行检测和分类,实现高铁箱梁内壁的缺陷检测,标记出缺陷所在图像位置;

S32、采用图像拼接3d重建算法对步骤S2拍摄的高铁箱梁内壁的图像进行三维重建:S321、在MATLAB软件中采用加权平均法对图像进行灰度处理:Image(i,j)=a(i,j)+bG(i,j)+cB(i,j)      (2);

公式(2)中,a、b、c是红绿蓝三个颜色分量的权值;

S322、采用基于Shearlet变换的方法去除图像的噪声:

2 2

在二阶线性可积空间内对任意f∈L(R),若函数f满足公式则 称为连续Shearlet,连续Shearlet变换的定义可以表示为:+ 2

公式(4)中,a∈R,h∈R,t∈R;a,h,t分别为尺度参数、剪切参数、平移参数;

则将图像信号进行Shearlet变换去噪,可表示为:

f(t)=s(t)+n(t)         (5);

SHψ(f)=SHψ(s)+SHψ(n)        (6);

公式(5)中,s(t)、n(t)分别为信号和噪声;

公式(6)中,SHψ(s)为信号进行Shearlet变换;SHψ(n)为噪声进行Shearlet变换;

S323、三维重建:对箱梁图片使用基于Shearlet变换去噪后进行特征提取与图像融合:S3231、将图像划分为ROI,在ROI内采用SIFT算法进行特征提取和匹配:尺度空间的构建定义如下:

L(x,y,σ)=G(x,y,σ)*I(χ,y)      (7);

公式(7)中,G(x,y,σ)为高斯核函数:

(x,y)为像素点在图像中的坐标,I(x,y)表示该点的像素值,σ为尺度空间因子;

根据尺度函数来建立高斯金字塔,高斯金字塔的第一阶的第一层是原始图像,高斯金字塔有o阶、s层,在同一阶上的两个相邻层之间的尺度比例为k,在高斯金字塔的基础上,利用同一阶上的两个相邻的两层的空间函数之差得到DOG高斯差分算子,使用DOG高斯差分算子来对尺度空间中的点进行极大值检测,即:D(x,y;σ)=(G(x,y,kσ)‑G(x,y,σ))*,(x,y)=L(x,y,kσ)‑L(x,y;σ)       (9);

公式(9)中L(x,y,kσ)与L(x,y;σ)表示两个相邻的两层的空间函数;G(x,y,kσ)与G(x,y,σ)表示相邻两层的高斯函数;

高斯差分确定的极值点是离散空间的点,利用泰勒展开式计算出连续极值点:得到极值点

然后,生成主方向:为了实现特征点具有旋转不变性,计算特征点的角度,为了实现特征点的旋转不变性,因此需要计算特征点的角度,在计算特征点的方向时是根据特征点所在的高斯尺度图像中的局部特征计算出的,该尺度空间因子σ是已知的,并且该尺度是相对于该图像所在的组的基准图像的,所谓的局部特征就是特征点的邻域区域内所有像素的梯度幅角和梯度幅值,这里邻域区域定义为在该图像中以特征点为圆心,半径为高斯尺度的

4.5倍;

公式(10)中,m(x,y)为该像素点的幅值,θ(x,y)为该点的幅角;

最终确定特征点,然后在两幅图像中找到相同的特征点进行特征匹配,进行特征匹配时使用欧式距离Dssd进行表示:公式(11)中,A、B分别为两图像的特征点;

S3232、进行特征匹配时,我们用暴力匹配(BF)从A图像中选择一个特征点去与B图像中的每一个特征点进行匹配,最后选择DSSd最小的两个点作为匹配结果;将SIFT算法匹配到的特征点中得到单应性矩阵为全局的变换矩阵,对图像上所有区域使用相同的单应性变换,对所有相机光源模块中的摄像机所拍摄的图片进行拼接:轨检小车在高铁箱梁地面中间行驶,在每个拍摄瞬间,轨检小车与摄像机和高铁箱梁内表面的位置相对固定,从世界坐标系到相机坐标系之间的关系为:Xc=RXw+t            (12);

公式(12)中,R表示相机位置相对于世界坐标系原点的旋转矩阵,t表示摄像机位置相T对于世界坐标系的平移向量,Xc表示相机坐标系Xw表示世界坐标系;Xc=(xc,yc,zc) ,TXw=(xw,yw,zw) ;

将其写成其次坐标的形式为:

式(12)逆变换为:

T T

Xw=RXc‑Rt        (14);

将其转换为矩阵形式:

这样,最终在MATLAB中实现高铁箱梁内表面的三维重建,重建出高铁箱梁内表面的三维图像;

S33、将S31卷积神经网络分辨出的缺陷融合入S32重建的三维图像中,实现高铁箱梁内壁的缺陷检测。

2.根据权利要求1所述的用于高铁箱梁裂缝自动化检测的相机阵列式成像方法,其特征在于:所述摄像机为CCD摄像机。

3.根据权利要求1所述的用于高铁箱梁裂缝自动化检测的相机阵列式成像方法,其特征在于:所述圆形光圈为白色LED灯。

4.根据权利要求1所述的用于高铁箱梁裂缝自动化检测的相机阵列式成像方法,其特征在于:所述相机光源模块的数量为8个,8个相机光源模块左右对称设于相机安装部的左右两端。

5.根据权利要求4所述的用于高铁箱梁裂缝自动化检测的相机阵列式成像方法,其特征在于:设于相机安装部左端的4个相机光源模块从上到下依次命名为第一左相机光源模块、第二左相机光源模块、第三左相机光源模块和第四左相机光源模块,设于相机安装部右端的4个相机光源模块从上到下依次命名为第一右相机光源模块、第二右相机光源模块、第三右相机光源模块和第四右相机光源模块;其中:第一左相机光源模块安装在相机安装部距铅直方向40°处,第二左相机光源模块安装在相机安装部距铅直方向80°处,第三左相机光源模块安装在相机安装部距铅直方向120°处,第四左相机光源模块安装在相机安装部距铅直方向160°处,第一右相机光源模块、第二右相机光源模块、第三右相机光源模块和第四右相机光源模块分别与相应的第一左相机光源模块、第二左相机光源模块、第三左相机光源模块和第四左相机光源模块对称设置。

6.根据权利要求5所述的用于高铁箱梁裂缝自动化检测的相机阵列式成像方法,其特征在于:第一左相机光源模块和第一右相机光源模块中的摄像机的发射中心方向均与垂直水平面方向角度为85°,第二左相机光源模块和第二右相机光源模块中的摄像机的发射中心方向均与垂直水平面方向角度为105°,第三左相机光源模块和第三右相机光源模块中的摄像机的发射中心方向均与垂直水平面方向角度为135°,第四左相机光源模块和第四右相机光源模块中的摄像机的发射中心方向均与垂直水平面方向角度为170°。

7.根据权利要求1所述的用于高铁箱梁裂缝自动化检测的相机阵列式成像方法,其特征在于:在轨检小车上还设有编码器。

8.根据权利要求1所述的用于高铁箱梁裂缝自动化检测的相机阵列式成像方法,其特征在于:在轨检小车上还设有距离传感器。

9.根据权利要求1所述的用于高铁箱梁裂缝自动化检测的相机阵列式成像方法,其特征在于:在轨检小车设有自行走动力机构。

说明书 :

一种用于高铁箱梁裂缝自动化检测的相机阵列式成像方法

技术领域

[0001] 本发明是涉及一种用于高铁箱梁裂缝自动化检测的相机阵列式成像方法,属于轨道缺陷检测技术领域。

背景技术

[0002] 箱梁是高架桥梁的关键构件,直接承受着高铁轨道传递的列车荷载。在高铁的高速发展下,箱梁的完好成为维护与检测的重中之中。由于箱梁一直暴露在复杂的大气环境中,受多种因素(列车荷载、环境条件等)长期作用的影响,致使产生各种缺陷。在往复荷载(如列车频繁运行)、环境变化(如温湿度交替变化)及突发灾害(如地震)等复杂因素的交变作用下,高铁箱梁会萌生微小疲劳裂缝。裂缝的发展和累积将导致箱梁的服役性能不断劣化,极端条件下甚至会发生疲劳断裂,无法保证高铁轨道的稳定性和平顺性,而稳定性和平顺性恰恰是保证高铁快速和安全运营的重要前提条件,将直接关系到列车的正常运营和乘客的人身安全,因此,需要对高铁箱梁进行缺陷检测。
[0003] 目前对箱梁缺陷的检测主要依赖于高铁桥隧工手动探伤,一旦缺陷发现不及时,将产生灾难性后果。实现高铁箱梁缺陷的快速自动化检测是高铁线路基础结构维护养修领域的关键核心问题,具有重要的科学意义、工程价值和市场前景。

发明内容

[0004] 针对现有技术存在的上述问题,本发明的目的是提供一种检测精确、全面、不易受外界条件干扰的用于高铁箱梁裂缝自动化检测的相机阵列式成像方法,以实现高效、无损、实时检测出高铁箱梁的裂缝缺陷,为高铁的安全运营提供及时预警和有力保障。
[0005] 为实现上述目的,本发明采用如下技术方案:
[0006] 一种用于高铁箱梁裂缝自动化检测的相机阵列式成像方法,包括如下步骤:
[0007] S1、使轨检小车行驶至需要缺陷检测的高铁箱梁内,所述轨检小车的顶端设有相机支架,所述相机支架设有圆形的相机安装部,所述相机安装部上沿圆周方向左右对称设有多个相机光源模块,所述相机光源模块包括摄像机和环设于摄像机外部的圆形光圈;
[0008] S2、随着轨检小车的移动,设于轨检小车上的相机光源模块中的摄像机对高铁箱梁的内壁进行拍摄,并将拍摄的图像传递给计算机;
[0009] S3、计算机采用MATLAB软件对接受的图像分别通过卷积神经网络进行缺陷的检测与分类和通过三维重建网络进行三维重建,最后将卷积神经网络分辨出的缺陷融合入三维重建网络重建的三维图像中,实现高铁箱梁内壁的缺陷检测。
[0010] 一种实施方案,步骤S3中,具体包括如下操作:
[0011] S31、采用SSD目标检测算法对步骤S2拍摄的高铁箱梁内壁的图像进行检测和分类:
[0012] S311、在MATLAB软件中采用PBS算法对图像进行增强处理:
[0013] 由I=S×R中输入图像I和光照图像S的关系,通过色彩空间一致性、纹理一致性和曝光度一致性3个约束进行图像增强,并通过优化方程优化光照图像估计,优化方程为:
[0014]
[0015] 公式(1)中,Ed是使S尽可能接近于S’, p代表像素,c∈{r,g,b};Ec,Et,Ee是为了进行色彩、纹理和曝光度的感知性双向相似性约束,λ是权重值;
[0016] S312、将处理后的图像进行平移、放大、45度自由旋转后对图像进行标记,以配置目标检测训练集;
[0017] S313、通过SSD目标检测算法对图像进行检测和分类,实现高铁箱梁内壁的缺陷检测,标记出缺陷所在图像位置;
[0018] S32、采用图像拼接3d重建算法对步骤S2拍摄的高铁箱梁内壁的图像进行三维重建:
[0019] S321、在MATLAB软件中采用加权平均法对图像进行灰度处理:
[0020] Image(i,j)=a(i,j)+bG(i,j)+cB(i,j)                         (2);
[0021] 公式(2)中,a、b、c是红绿蓝三个颜色分量的权值;
[0022] S322、采用基于Shearlet变换的方法去除图像的噪声:
[0023] 在二阶线性可积空间内对任意f∈L2(R2),若函数f满足公式
[0024]
[0025] 则ψj,l,t|a,s称为连续Shearlet,连续Shearlet变换的定义可以表示为:
[0026]
[0027] 公式(4)中,a∈R+,h∈R,t∈R2;a,h,t分别为尺度参数、剪切参数、平移参数;
[0028] 则将图像信号进行Shearlet变换去噪,可表示为:
[0029] f(t)=s(t)+n(t)                           (5);
[0030] SHψ(f)=SHψ(s)+SHψ(n)                           (6);
[0031] 公式(5)中,s(t)、n(t)分别为信号和噪声;
[0032] 公式(6)中,SHψ(s)为信号进行Shearlet变换;SHψ(n)为噪声进行Shearlet变换;
[0033] S323、三维重建:对箱梁图片使用基于Shearlet变换去噪后进行特征提取与图像融合:
[0034] S3231、将图像划分为ROI,在ROI内采用SIFT算法进行特征提取和匹配:
[0035] 尺度空间的构建定义如下:
[0036] L(x,y,σ)=G(x,y,σ)*I(x,y)                           (7);
[0037] 公式(7)中,G(x,y,σ)为高斯核函数:
[0038]
[0039] (x,y)为像素点在图像中的坐标,I(x,y)表示该点的像素值,σ为尺度空间因子;
[0040] 根据尺度函数来建立高斯金字塔,高斯金字塔的第一阶的第一层是原始图像,高斯金字塔有o阶、s层,在同一阶上的两个相邻层之间的尺度比例为k,在高斯金字塔的基础上,利用同一阶上的两个相邻的两层的空间函数之差得到DOG高斯差分算子,使用DOG高斯差分算子来对尺度空间中的点进行极大值检测即
[0041] D(x,y;σ)=(G(x,y,kσ)‑G(x,y,σ))*I(x,y)
[0042] =L(x,y,kσ)‑L(x,y;σ)     (9);
[0043] 公式(9)中L(x,y,kσ)与L(x,y;σ)表示两个相邻的两层的空间函数;G(x,y,kσ)与G(x,y,σ)表示相邻两层的高斯函数;
[0044] 高斯差分确定的极值点是离散空间的点,利用泰勒展开式计算出连续极值点:
[0045]
[0046] 得到极值点
[0047] 然后,生成主方向:为了实现特征点具有旋转不变性,计算特征点的角度,为了实现特征点的旋转不变性,因此需要计算特征点的角度,在计算特征点的方向时是根据特征点所在的高斯尺度图像中的局部特征计算出的,该尺度空间因子σ是已知的,并且该尺度是相对于该图像所在的组的基准图像的,所谓的局部特征就是特征点的邻域区域内所有像素的梯度幅角和梯度幅值,这里邻域区域定义为在该图像中以特征点为圆心,半径为高斯尺度的4.5倍;
[0048]
[0049]
[0050] 公式(10)中,m(x,y)为该像素点的幅值,θ(x,y)为该点的幅角;
[0051] 最终确定特征点,然后在两幅图像中找到相同的特征点进行特征匹配,进行特征匹配时使用欧式距离Dssd进行表示:
[0052]
[0053] 公式(11)中,A、B分别为两图像的特征点;
[0054] S3232、进行特征匹配时,我们用暴力匹配(BF)从A图像中选择一个特征点去与B图像中的每一个特征点进行匹配,最后选择DSSd最小的两个点作为匹配结果;将SIFT算法匹配到的特征点中得到单应性矩阵为全局的变换矩阵,对图像上所有区域使用相同的单应性变换,对所有相机光源模块中的摄像机所拍摄的图片进行拼接:
[0055] 轨检小车在高铁箱梁地面中间行驶,在每个拍摄瞬间,轨检小车与摄像机和高铁箱梁内表面的位置相对固定,从世界坐标系到相机坐标系之间的关系为:
[0056] Xc=RXw+t                           (12);
[0057] 公式(12)中,R表示相机位置相对于世界坐标系原点的旋转矩阵,t表示摄像机位T置相对于世界坐标系的平移向量,Xc表示相机坐标系Xw表示世界坐标系;Xc=(xc,yc,zc) ,XwT
=(xw,yw,zw) ;
[0058] 将其写成其次坐标的形式为:
[0059]
[0060] 式(12)逆变换为:
[0061] Xw=RTXc‑RTt                           (14);
[0062] 将其转换为矩阵形式:
[0063]
[0064] 这样,最终在MATLAB中实现高铁箱梁内表面的三维重建,重建出高铁箱梁内表面的三维图像;
[0065] S33、将S31卷积神经网络分辨出的缺陷融合入S32重建的三维图像中,实现高铁箱梁内壁的缺陷检测。
[0066] 一种优选方案,所述S33中,是首先通过计算机随机选取若干个融合点,接着基于图像融合技术(例如泊松融合),将随机选取的缺陷对象图对应三维图像上的融合点处进行融合,利用匹配的缺陷二值图,生成三维缺陷图。
[0067] 一种实施方案,所述摄像机为CCD摄像机。
[0068] 一种实施方案,所述圆形光圈为白色LED灯。
[0069] 一种实施方案,所述相机光源模块的数量为8个,8个相机光源模块左右对称设于相机安装部的左右两端。
[0070] 一种优选方案,设于相机安装部左端的4个相机光源模块从上到下依次命名为第一左相机光源模块、第二左相机光源模块、第三左相机光源模块和第四左相机光源模块,设于相机安装部右端的4个相机光源模块从上到下依次命名为第一右相机光源模块、第二右相机光源模块、第三右相机光源模块和第四右相机光源模块;其中:第一左相机光源模块安装在相机安装部距铅直方向40°处,第二左相机光源模块安装在相机安装部距铅直方向80°处,第三左相机光源模块安装在相机安装部距铅直方向120°处,第四左相机光源模块安装在相机安装部距铅直方向160°处,第一右相机光源模块、第二右相机光源模块、第三右相机光源模块和第四右相机光源模块分别与相应的第一左相机光源模块、第二左相机光源模块、第三左相机光源模块和第四左相机光源模块对称设置。
[0071] 一种优选方案,第一左相机光源模块、第二左相机光源模块、第三左相机光源模块和第一右相机光源模块、第二右相机光源模块、第三右相机光源模块中的摄像机的焦距为12mm,第四左相机光源模块和第四右相机光源模块中的摄像机的焦距为6mm。
[0072] 一种优选方案,第一左相机光源模块和第一右相机光源模块中的摄像机的发射中心方向均与垂直水平面方向角度为85°,第二左相机光源模块和第二右相机光源模块中的摄像机的发射中心方向均与垂直水平面方向角度为105°,第三左相机光源模块和第三右相机光源模块中的摄像机的发射中心方向均与垂直水平面方向角度为135°,第四左相机光源模块和第四右相机光源模块中的摄像机的发射中心方向均与垂直水平面方向角度为170°。
[0073] 一种实施方案,在轨检小车上还设有编码器。
[0074] 一种实施方案,在轨检小车上还设有距离传感器。
[0075] 一种实施方案,在轨检小车上还设有移动电源。
[0076] 一种实施方案,在轨检小车设有自行走动力机构。
[0077] 相较于现有技术,本发明的有益技术效果在于:
[0078] 本发明提供的用于高铁箱梁裂缝自动化检测的相机阵列式成像方法,不仅可实现对高铁箱梁裂缝的自动化检测,而且检测速度快、效率高,可对高铁箱梁进行远距离、全方位的缺陷识别与检测,并且检测结果基本不受外界环境影响,检测精度高,使得检测和维护工作效率得到大幅度提高,能为高铁的安全运营提供及时维护和有力支撑;因此,本发明相对于现有技术,具有显著进步性和应用价值。

附图说明

[0079] 图1是本发明实施例提供的一种用于高铁箱梁裂缝自动化检测的相机阵列装置的结构示意图;
[0080] 图2是本发明实施例提供的用于高铁箱梁裂缝自动化检测的相机阵列装置的使用状态1示意图;
[0081] 图3是本发明实施例提供的用于高铁箱梁裂缝自动化检测的相机阵列装置的使用状态2示意图;
[0082] 图中标号示意如下:1、轨检小车;11、轨检小车的履带;2、相机支架;21、相机安装部;3、相机光源模块;3‑CL1、第一左相机光源模块;3‑CL2、第二左相机光源模块;3‑CL3、第三左相机光源模块;3‑CL4、第四左相机光源模块;3‑CR1、第一右相机光源模块;3‑CR2、第二右相机光源模块;3‑CR3、第三右相机光源模块;3‑CR4、第四右相机光源模块;31、摄像机;32、圆形光圈;4、编码器;5、距离传感器;6、自行走动力机构。

具体实施方式

[0083] 以下将结合附图和实施例对本发明的技术方案做进一步清楚、完整地描述。
[0084] 实施例
[0085] 请结合图1至图3所示:本实施例提供的一种用于高铁箱梁裂缝自动化检测的相机阵列装置,包括轨检小车1,所述轨检小车1的顶端设有相机支架2,所述相机支架2设有圆形的相机安装部21,所述相机安装部21上沿圆周方向左右对称设有多个相机光源模块3,所述相机光源模块3包括摄像机31和环设于摄像机31外部的圆形光圈32。本发明中,如图3所示,多个相机光源模块3对称且列阵式的设计,使得相机光源模块3的拍摄范围可以实现高铁箱梁7内壁全区域覆盖,并且,如图1所示,相机光源模块3中,摄像机31和圆形光圈32的设置,使得整个相机阵列装置中,摄像机31和圆形光圈32交替排列,圆形光圈32不仅消除了黑暗中实现补光外,还可以消除阴影,使检测图片更加清晰、有效;此外,承载相机光源模块3的相机安装部21设计成圆形,不仅可以减少相机光源模块3的使用数量,节约能源,其次与呈拱形状的高铁箱梁7相适配,可以将高铁箱梁7内壁的拐角处均覆盖到,使得拍摄图片更为全面。
[0086] 本实施例中,所述摄像机31为CCD摄像机。所述圆形光圈32为白色LED灯。
[0087] 为了更好更全面的获取高铁箱梁内壁的图像,更准确的对高铁箱梁表面的缺陷进行检测,本实施例中,所述相机光源模块3的数量为8个,8个相机光源模块3左右对称设于相机安装部21的左右两端。为了方便描述,本发明中,设于相机安装部21左端的4个相机光源模块从上到下依次命名为第一左相机光源模块3‑CL1、第二左相机光源模块3‑CL2、第三左相机光源模块3‑CL3和第四左相机光源模块3‑CL4,设于相机安装部21右端的4个相机光源模块从上到下依次命名为第一右相机光源模块3‑CR1、第二右相机光源模块3‑CR2、第三右相机光源模块3‑CR3和第四右相机光源模块3‑CR4;其中:第一左相机光源模块3‑CL1安装在相机安装部21距铅直方向40°处,第二左相机光源模块3‑CL2安装在相机安装部21距铅直方向80°处,第三左相机光源模块3‑CL3安装在相机安装部21距铅直方向120°处,第四左相机光源模块3‑CL4安装在相机安装部21距铅直方向160°处,第一右相机光源模块3‑CR1、第二右相机光源模块3‑CR2、第三右相机光源模块3‑CR3和第四右相机光源模块3‑CR4分别与相应的第一左相机光源模块3‑CL1、第二左相机光源模块3‑CL2、第三左相机光源模块3‑CL3和第四左相机光源模块3‑CL4对称设置;上述数值允许5%的偏差。
[0088] 此外,第一左相机光源模块3‑CL1、第二左相机光源模块3‑CL2、第三左相机光源模块3‑CL3和第一右相机光源模块3‑CR1、第二右相机光源模块3‑CR2、第三右相机光源模块3‑CR3中的摄像机31的焦距为12mm,对应的摄像机31的视场角度为23°,第四左相机光源模块3‑CL4和第四右相机光源模块3‑CR4中的摄像机31的焦距为6mm,对应的摄像机31的视场角度为40°;上述数值允许5%的偏差。
[0089] 进一步的,第一左相机光源模块3‑CL1和第一右相机光源模块3‑CR1中的摄像机31的发射中心方向均与垂直水平面方向角度为85°,第二左相机光源模块3‑CL2和第二右相机光源模块3‑CR2中的摄像机31的发射中心方向均与垂直水平面方向角度为105°,第三左相机光源模块3‑CL3和第三右相机光源模块3‑CR3中的摄像机31的发射中心方向均与垂直水平面方向角度为135°,第四左相机光源模块3‑CL4和第四右相机光源模块3‑CR4中的摄像机31的发射中心方向均与垂直水平面方向角度为170°。这样,当轨检小车1走行时,可使高铁箱梁被全区域拍照,以便进行缺陷检测。
[0090] 此外,如图1所示,在轨检小车1上还设有编码器4,以实现对所检测出的缺陷实时定位,明确缺陷位置,方便施工人员进行检修。
[0091] 此外,在轨检小车上还设有距离传感器5,可对轨检小车1前方距离进行采集。
[0092] 此外,在轨检小车1上还设有移动电源(未显示),以实现对所述装置进行移动供电。
[0093] 此外,在轨检小车1设有自行走动力机构6,以实现轨检小车1的自动行走,所述自行走动力机构6采用现有技术即可。
[0094] 采用本发明所述的相机阵列装置进行高铁箱梁自动化检测的相机阵列式成像方法,包括如下步骤:
[0095] S1、如图2和图3所示,使轨检小车1行驶至需要缺陷检测的高铁箱梁7内;
[0096] S2、随着轨检小车1的移动,设于轨检小车1上的相机光源模块3中的摄像机31对高铁箱梁7的内壁进行拍摄,并将拍摄的图像传递给计算机;
[0097] S3、计算机采用MATLAB软件对接受的图像分别通过卷积神经网络进行缺陷的检测与分类和通过三维重建网络进行三维重建,最后将卷积神经网络分辨出的缺陷融合入三维重建网络重建的三维图像中,实现高铁箱梁内壁的缺陷检测,具体包括如下操作:
[0098] S31、采用SSD目标检测算法对步骤S2拍摄的高铁箱梁内壁的图像进行检测和分类:
[0099] S311、在MATLAB软件中采用PBS算法对图像进行增强处理:
[0100] 由I=S×R中输入图像I和光照图像S的关系,通过色彩空间一致性、纹理一致性和曝光度一致性3个约束进行图像增强,并通过优化方程优化光照图像估计,优化方程为:
[0101]
[0102] 公式(1)中,Ed是使S尽可能接近于S′, p代表像素,c∈{r,g,b};Ec,Et,Ee是为了进行色彩、纹理和曝光度的感知性双向相似性约束,λ是权重值;
[0103] S312、将处理后的图像进行平移、放大、45度自由旋转后对图像进行标记,以配置目标检测训练集;此部分属于公知技术,此处就不再一一赘述;
[0104] S313、通过SSD目标检测算法对图像进行检测和分类,实现高铁箱梁内壁的缺陷检测,标记出缺陷所在图像位置;此部分属于公知技术,此处就不再一一赘述;
[0105] S32、采用图像拼接3d重建算法对步骤S2拍摄的高铁箱梁内壁的图像进行三维重建:
[0106] S321、在MATLAB软件中采用加权平均法对图像进行灰度处理:
[0107] Image(i,j)=a(i,j)+bG(i,j)+cB(i,j)                            (2);
[0108] 公式(2)中,a、b、c是红绿蓝三个颜色分量的权值;
[0109] S322、采用基于Shearlet变换的方法去除图像的噪声:
[0110] 在二阶线性可积空间内对任意f∈L2(R2),若函数f满足公式
[0111]
[0112] 则ψj,l,t|a,s称为连续Shearlet,连续Shearlet变换的定义可以表示为:
[0113]
[0114] 公式(4)中,a∈R+,h∈R,t∈R2;a,h,t分别为尺度参数、剪切参数、平移参数;
[0115] 则将图像信号进行Shearlet变换去噪,可表示为:
[0116] f(t)=s(t)+n(t)                            (5);
[0117] SHψ(f)=SHψ(s)+SHψ(n)                            (6);
[0118] 公式(5)中,s(t)、n(t)分别为信号和噪声;
[0119] 公式(6)中,SHψ(s)为信号进行Shearlet变换;SHψ(n)为噪声进行Shearlet变换;
[0120] S323、三维重建:对箱梁图片使用基于Shearlet变换去噪后进行特征提取与图像融合:
[0121] S3231、将图像划分为ROI,在ROI内采用SIFT算法进行特征提取和匹配:
[0122] 尺度空间的构建定义如下:
[0123] L(x,y,σ)=G(x,y,σ)*I(x,y)                            (7);
[0124] 公式(7)中,G(x,y,σ)为高斯核函数:
[0125]
[0126] (x,y)为像素点在图像中的坐标,I(x,y)表示该点的像素值,σ为尺度空间因子;
[0127] 根据尺度函数来建立高斯金字塔,高斯金字塔的第一阶的第一层是原始图像,高斯金字塔有o阶、s层,在同一阶上的两个相邻层之间的尺度比例为k,在高斯金字塔的基础上,利用同一阶上的两个相邻的两层的空间函数之差得到DOG高斯差分算子,使用DOG高斯差分算子来对尺度空间中的点进行极大值检测即
[0128] D(x,y;σ)=(G(x,y,kσ)‑G(x,y,σ))*I(x,y)
[0129] =L(x,y,kσ)‑L(x,y;σ)      (9);
[0130] 公式(9)中L(x,y,kσ)与L(x,y;σ)表示两个相邻的两层的空间函数;G(x,y,kσ)与G(x,y,σ)表示相邻两层的高斯函数;
[0131] 高斯差分确定的极值点是离散空间的点,利用泰勒展开式计算出连续极值点:
[0132]
[0133] 得到极值点 因为物体的边缘轮廓的灰度图中,存在灰度值的突变,会使这样的点被误作为特征值,所以我们用Hessian矩阵去除边缘影响,得到更精确的特征点;
[0134] 然后,生成主方向:为了实现特征点具有旋转不变性,计算特征点的角度,为了实现特征点的旋转不变性,因此需要计算特征点的角度,在计算特征点的方向时是根据特征点所在的高斯尺度图像中的局部特征计算出的,该尺度空间因子σ是已知的,并且该尺度是相对于该图像所在的组的基准图像的,所谓的局部特征就是特征点的邻域区域内所有像素的梯度幅角和梯度幅值,这里邻域区域定义为在该图像中以特征点为圆心,半径为高斯尺度的4.5倍:
[0135]
[0136] 上式中,m(x,y)为该像素点的幅值,θ(x,y)为该点的幅角;
[0137] 最终确定特征点,然后在两幅图像中找到相同的特征点进行特征匹配,进行特征匹配时使用欧式距离Dssd进行表示:
[0138]
[0139] 公式(11)中,A、B分别为两图像的特征点;
[0140] S3232、进行特征匹配时,我们用暴力匹配(BF)从A图像中选择一个特征点去与B图像中的每一个特征点进行匹配,最后选择DSSd最小的两个点作为匹配结果;将SIFT算法匹配到的特征点中得到单应性矩阵为全局的变换矩阵,对图像上所有区域使用相同的单应性变换,对所有相机光源模块中的摄像机所拍摄的图片进行拼接:
[0141] 轨检小车在高铁箱梁地面中间行驶,在每个拍摄瞬间,轨检小车与摄像机和高铁箱梁内表面的位置相对固定,从世界坐标系到相机坐标系之间的关系为:
[0142] Xc=RXw+t                            (12);
[0143] 公式(12)中,R表示相机位置相对于世界坐标系原点的旋转矩阵,t表示摄像机位置相对于世界坐标系的平移向量,Xc表示相机坐标系Xw表示世界坐标系;
[0144] Xc=(xc,yc,zc)T;
[0145] Xw=(xw,yw,zw)T;
[0146] 将其写成其次坐标的形式为:
[0147]
[0148] 式(12)逆变换为:
[0149] Xw=RTXc‑RTt                            (14);
[0150] 将其转换为矩阵形式:
[0151]
[0152] 这样,最终在MATLAB中实现高铁箱梁内表面的三维重建,重建出高铁箱梁内表面的三维图像;
[0153] S33、将S31卷积神经网络分辨出的缺陷融合入S32重建的三维图像中,实现高铁箱梁内壁的缺陷检测:具体是首先通过计算机随机选取若干个融合点,接着基于图像融合技术(例如泊松融合),将随机选取的缺陷对象图对应三维图像上的融合点处进行融合,利用匹配的缺陷二值图,生成三维缺陷图。
[0154] 综上所述可见,本发明不仅可实现对高铁箱梁裂缝的自动化检测,检测速度快、效率高,而且可对高铁箱梁进行远距离、全方位的缺陷识别与检测,并且检测结果基本不受外界环境影响,检测精度高,使得检测和维护工作效率得到大幅度提高,能为高铁的安全运营提供及时维护和有力支撑,因此,本发明相对于现有技术,具有显著进步性和应用价值。
[0155] 最后有必要在此指出的是:以上所述仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。