一种基于无人机的地表裂缝快速检测系统及方法转让专利
申请号 : CN201811611646.8
文献号 : CN109671043B
文献日 : 2020-07-07
发明人 : 黄喆 , 石爱军 , 莫思特 , 张鸣之 , 马娟 , 薛跃明
申请人 : 中国地质环境监测院
摘要 :
权利要求 :
1.一种基于无人机的地表裂缝快速检测系统,其特征在于,包括通过无线传输方式进行通信的地面子系统和空载子系统;
空载子系统,用于采集图像信息数据,将采集到的图像信息数据进行初始处理,并将数据发送给地面子系统;
地面子系统,用于接收空载子系统发送的图像数据,将图像数据进行最终处理,并存储数据;
所述地面子系统包括相互连接的计算机和第一无线传输子模块;所述空载子系统包括无人机和图像处理模块,所述图像处理模块设置在无人机底部;所述图像处理模块包括图像传感子模块、可编程逻辑门阵列、第二无线传输子模块和视频压缩处理芯片,所述图像传感子模块、视频压缩处理芯片和第二无线传输子模块均与可编程逻辑门阵列连接;所述图像传感子模块包括安装盒、镜头和传感电路,所述安装盒内设有传感电路,所述安装盒的一侧固定在无人机底部,所述安装盒的另一侧通过圆形丝口与镜头连接;
所述可编辑逻辑门阵列中设有像素抽样程序和地表裂缝初筛程序,所述地表裂缝初筛程序包括雪地判断子程序、雪地地表裂缝隐患初筛子程序、草地判断子程序、草地地表裂缝隐患初筛子程序、水域初筛子程序、地表裂缝隐患像素判断子程序和地表裂缝隐患像素计数子程序,所述像素抽样程序用于对图像像素进行抽样,所述地表裂缝初筛程序用于计算地表裂缝隐患像素数量,所述雪地判断子程序用于得到中间参数Fx,所述雪地地表裂缝隐患初筛子程序用于得到雪地图像的含裂缝二值图像,所述草地判断子程序得到中间参数Fc,所述草地地表裂缝隐患初筛子程序用于得到草地图像的含裂缝二值图像,所述水域初筛子程序用于得到河流区域图像,所述地表裂缝隐患像素判断子程序用于得到二值化地表裂缝隐患图像,所述地表裂缝隐患像素计数子程序用于得到地表裂缝隐患像素数量;所述计算机中也设有地表裂缝初筛程序;
所述雪地判断子程序的具体步骤为:
C1、将雪地RGB彩色像素转换为灰度像素,形成灰度图像;
C2、对灰度图像进行二维傅里叶变换,形成灰度图像的二维傅里叶数据;
C3、令灰度图像的二维傅里叶数据正半轴部分和负半轴部分的图像分别关于各自的中心对称,得到中心对称傅里叶数据;
C4、对中心对称傅里叶数据的频谱进行对数运算,得到对数幅度谱,对数幅度谱像素为A(i,j),i=1,2,3,…x,x为横向像素数或者取样横向像素数,j=1,2,3,…y,y为纵向像素数或者取样纵向像素数;
C5、通过对数幅度谱像素A(i,j)计算纵向差分信号,其像素为Cz(i,j),i=1,2,3,…x,j=1,2,3,…y,纵向差分信号的计算公式为:若i=1或x,则Cz(i,j)=A(i,j);
若j=1或y,则Cz(i,j)=A(i,j);
其余情况下,则Cz(i,j)=2A(i,j)-A(i,j-1)-A(i,j+1);
C6、通过对数幅度谱像素A(i,j)计算横向差分信号,其像素为Ch(i,j),i=1,2,3,…x,j=1,2,3,…y,横向差分信号的计算公式为:若i=1或x,则Ch(i,j)=A(i,j);
若j=1或y,则Ch(i,j)=A(i,j);
其余情况下,则Ch(i,j)=2A(i,j)-A(i-1,j)-A(i+1,j);
C7、计算纵向差分信号的横向求和信号Szh(i)和纵向求和信号Szz(i),计算公式为:C8、计算横向差分信号的横向求和信号Shh(i)和纵向求和信号Shz(i),计算公式为:C9、计算纵向中位点Nz和横向中位点Nh,计算公式为:Nz=[y/2]
Nh=[x/2]
上式中,[]为取整运算;
C10、在i=Nb到y-Nb的范围内,查找纵向差分信号的横向求和信号Szh(i)中的最大值,当Szh(i)为最大值时,i=Wzh;
Nb为边沿忽略点;
C11、当Nz-Nb
C12、令MAXzh=Szh(Wzh),并计算纵向差分信号的横向求和雪地判据XDzh,计算公式为:上式中,Pzh为纵向差分信号的横向求和平均值,||表示取绝对值;
C13、当XDzh大于纵向差分信号的横向求和雪地门限MINzhxd时,进入步骤C14,否则进入步骤C27;
C14、在i=Nb到x-Nb的范围内,查找纵向差分信号的纵向求和信号Szz(i)中的最小值,当Szz(i)为最小值时,i=Wzz;
C15、当Nh-Nb
C16、令MINzz=Szz(Wzz),并计算纵向差分信号的纵向求和雪地判据XDzz,计算公式为:上式中,Pzz为纵向差分信号的纵向求和平均值;
C17、当XDzz大于纵向差分信号的纵向求和雪地门限MINzzxd时,进入步骤C18,否则进入步骤C27;
C18、在i=Nb到x-Nb的范围内,查找横向差分信号的纵向求和信号Shz(i)中的最大值,当Shz(i)为最大值时,i=Whz;
C19、当Nh-Nb
C20、令MAXhz=Shz(Whz),并计算横向差分信号的纵向求和雪地判据XDhz,计算公式为:上式中,Phz为横向差分信号的纵向求和平均值;
C21、当XDhz大于横向差分信号的纵向求和雪地门限MINhzxd时,进入步骤C22,否则进入步骤C27;
C22、在i=Nb到y-Nb的范围内,查找横向差分信号的横向求和信号Shh(i)中的最小值,当Shh(i)为最小值时,i=Whh;
C23、当Nz-Nb
C24、令MINhh=Shh(Whh),并计算横向差分信号的横向求和雪地判据XDhh,计算公式为:上式中,Phh为横向差分信号的横向求和平均值;
C25、当XDhh横向差分信号的横向求和雪地门限MINhhxd时,进入步骤C26,否则进入步骤C27;
C26、令Fx=1,进入步骤B2;
C27、令Fx=0,进入步骤B2;
所述雪地地表裂缝隐患初筛子程序的具体步骤为:
D1、将雪地图像进行灰度变换,并转换为8位整形灰度数据;
D2、根据8位整形灰度数据得到雪地8位整形灰度数据直方图;
D3、查找雪地8位整形灰度数据直方图中小于雪地直方图分界XDZF的最大值对应的亮度值XD1;
D4、查找雪地8位整形灰度数据直方图中大于雪地直方图分界XDZF的最大值对应的亮度值XD2;
D5、根据亮度值XD1和XD2计算阈值YZXD,计算公式为:YZXD=0.5(XD1+XD2);
D6、根据阈值YZXD对雪地8位整形灰度数据做二值化处理,得到二值化后每个像素数据CDZH(i,j),并通过像素数据CDZH(i,j)构成二值图像Icdlf;
D7、计算二值图像Icdlf的连通域;
D8、计算每个连通域边沿到质心距离的最大值LMAX(i),i=1,2,3,…nn,nn为连通域的个数;
D9、计算每个连通域边沿到质心距离的最小值LMIN(i);
D10、通过最大值LMAX(i)和最小值LMIN(i)计算每个连通域的狭长比XCB(i),计算公式为:XCB(i)=LMAX(i)/LMIN(i);
D11、当XCB(i)大于裂缝门限LFMX,且连通域的像素大于裂缝最小像素LFZXXS的连通域为裂缝,并将为裂缝的连通域赋值为1,其余连通域赋值为0,得到含裂缝二值图像Iclf;
所述草地判断子程序的具体步骤为:
E1、计算草地增强图像,草地增强图像的计算公式为:上式中,CZ(i1,j1)为草地增强图像每个像素的亮度,i1=1,2,3,……x,j1=1,2,3,……y,x为横向像素数或者取样横向像素数,y为纵向像素数或者取样纵向像素数,Ro(i1,j1)为传感电路原始像素图像的RGB信号中的红色信号,Bo(i1,j1)为RGB信号中的绿色信号,Go(i1,j1)为RGB信号中的蓝色信号;
E2、根据草地增强图像计算草地增强图像直方图,并找出直方图的最大值MAXcd;
E3、当MAXcd大于草地判断门限值MINcd时,令Fc=1,否则令Fc=0;
所述草地地表裂缝隐患初筛子程序的具体步骤为:
F1、将草地增强图像转换为8位整形数据;
F2、根据8位整形数据得到草地增强图像8位整形数据直方图;
F3、查找草地增强图像8位整形数据直方图中小于200的最大值所对应的亮度值LD1;
F4、查找草地增强图像8位整形数据直方图中大于200的最小值所对应的亮度值LD2;
F5、通过亮度值LD1和亮度值LD2计算阈值YZld,计算公式为:YZld=0.5(LD1+LD2);
F6、根据阈值YZld,对草地增强图像8位整形数据做二值化处理,得到二值化处理后每个像素数据CDHZ(i,j),并通过像素数据CDHZ(i,j)构成二值图像Icdlf1,计算二值图像Icdlf1的连通域;
F7、计算每个连通域边沿到质心距离的最大值MMAX(i),i=1,2,3,…nn,nn为连通域的个数;
F8、计算每个连通域边沿到质心距离的最小值MMIN(i);
F9、通过最大值MMAX(i)和最小值MMIN(i)计算每个连通域的狭长比MXCB(i),计算公式为:MXCB(i)=MMAX(i)/MMIN(i);
F10、当MXCB(i)大于裂缝门限LFMX,且连通域的像素大于裂缝最小像素LFZXXS的连通域为裂缝,并将为裂缝的连通域赋值为1,其余连通域赋值为0,得到含裂缝二值图像Iclf1。
2.一种基于无人机的地表裂缝快速检测方法,其特征在于,包括:S1、设置空载子系统中可编程逻辑门阵列的初始参数;
S2、通过可编程逻辑门阵列对传感电路发出控制信号;
S3、通过可编程逻辑门阵列接收传感电路的像素亮度信号,并对传感电路的像素亮度信号进行BAYER图像处理和白平衡处理,得到白平衡处理后的每个像素的RGB信号;
S4、调用像素抽样程序处理白平衡处理后的每个像素的RGB信号,得到抽样后的图像像素;
S5、通过可编程逻辑门阵列调用地表裂缝初筛程序处理抽样后的图像像素,得到地表裂缝隐患像素数量;
S6、判断地表裂缝隐患像素数量是否大于门限值,若是,进入步骤S7,否则,返回步骤S2;
S7、将所有像素的RGB格式图像信号发送给视频压缩处理芯片,得到压缩后的图像数据;
S8、通过可编程逻辑门阵列接收压缩后的图像数据,并将压缩后的图像数据发送到第二无线传输子模块,第二无线传输子模块将压输数据发送给第一无线传输子模块;
S9、通过地面子系统中第一无线传输子模块将压缩后的图像数据发送至计算机,并通过计算机将压缩后的图像数据解压,得到解压后的图像数据;
S10、通过计算机调用地表裂缝初筛程序处理解压后的图像数据,得到地表裂缝检测结果;
所述步骤S5和S10中地表裂缝初筛程序的具体步骤为:B1、调用雪地判断子程序,得到中间参数Fx的值;
B2、当Fx=1时,进入步骤B3,否则进入步骤B4;
B3、调用雪地地表裂缝隐患初筛子程序处理雪地图像,得到雪地图像的含裂缝二值图像,进入步骤B7;
B4、调用草地判断子程序,得到中间参数Fc的值;
B5、当Fc=1时,进入步骤B6,否则判定图像不属于计算范畴,结束本程序;
B6、调用草地地表裂缝隐患初筛子程序处理草地图像,得到草地图像的含裂缝二值图像;
B7、调用水域初筛子程序处理河流图像,得到河流区域图像;
B8、调用地表裂缝隐患像素判断子程序处理河流区域图像、雪地图像的含裂缝二值图像或草地图像的含裂缝二值图像,得到二值化地表裂缝隐患图像;
B9、对二值化地表裂缝隐患图像调用地表裂缝隐患像素计数子程序,得到地表裂缝隐患像素数量,结束本程序;
所述步骤B1中雪地判断子程序的具体步骤为:
C1、将雪地RGB彩色像素转换为灰度像素,形成灰度图像;
C2、对灰度图像进行二维傅里叶变换,形成灰度图像的二维傅里叶数据;
C3、令灰度图像的二维傅里叶数据正半轴部分和负半轴部分的图像分别关于各自的中心对称,得到中心对称傅里叶数据;
C4、对中心对称傅里叶数据的频谱进行对数运算,得到对数幅度谱,对数幅度谱像素为A(i,j),i=1,2,3,…x,x为横向像素数或者取样横向像素数,j=1,2,3,…y,y为纵向像素数或者取样纵向像素数;
C5、通过对数幅度谱像素A(i,j)计算纵向差分信号,其像素为Cz(i,j),i=1,2,3,…x,j=1,2,3,…y,纵向差分信号的计算公式为:若i=1或x,则Cz(i,j)=A(i,j);
若j=1或y,则Cz(i,j)=A(i,j);
其余情况下,则Cz(i,j)=2A(i,j)-A(i,j-1)-A(i,j+1);
C6、通过对数幅度谱像素A(i,j)计算横向差分信号,其像素为Ch(i,j),i=1,2,3,…x,j=1,2,3,…y,横向差分信号的计算公式为:若i=1或x,则Ch(i,j)=A(i,j);
若j=1或y,则Ch(i,j)=A(i,j);
其余情况下,则Ch(i,j)=2A(i,j)-A(i-1,j)-A(i+1,j);
C7、计算纵向差分信号的横向求和信号Szh(i)和纵向求和信号Szz(i),计算公式为:C8、计算横向差分信号的横向求和信号Shh(i)和纵向求和信号Shz(i),计算公式为:C9、计算纵向中位点Nz和横向中位点Nh,计算公式为:Nz=[y/2]
Nh=[x/2]
上式中,[]为取整运算;
C10、在i=Nb到y-Nb的范围内,查找纵向差分信号的横向求和信号Szh(i)中的最大值,当Szh(i)为最大值时,i=Wzh;
Nb为边沿忽略点;
C11、当Nz-Nb
C12、令MAXzh=Szh(Wzh),并计算纵向差分信号的横向求和雪地判据XDzh,计算公式为:上式中,Pzh为纵向差分信号的横向求和平均值,||表示取绝对值;
C13、当XDzh大于纵向差分信号的横向求和雪地门限MINzhxd时,进入步骤C14,否则进入步骤C27;
C14、在i=Nb到x-Nb的范围内,查找纵向差分信号的纵向求和信号Szz(i)中的最小值,当Szz(i)为最小值时,i=Wzz;
C15、当Nh-Nb
C16、令MINzz=Szz(Wzz),并计算纵向差分信号的纵向求和雪地判据XDzz,计算公式为:上式中,Pzz为纵向差分信号的纵向求和平均值;
C17、当XDzz大于纵向差分信号的纵向求和雪地门限MINzzxd时,进入步骤C18,否则进入步骤C27;
C18、在i=Nb到x-Nb的范围内,查找横向差分信号的纵向求和信号Shz(i)中的最大值,当Shz(i)为最大值时,i=Whz;
C19、当Nh-Nb
C20、令MAXhz=Shz(Whz),并计算横向差分信号的纵向求和雪地判据XDhz,计算公式为:上式中,Phz为横向差分信号的纵向求和平均值;
C21、当XDhz大于横向差分信号的纵向求和雪地门限MINhzxd时,进入步骤C22,否则进入步骤C27;
C22、在i=Nb到y-Nb的范围内,查找横向差分信号的横向求和信号Shh(i)中的最小值,当Shh(i)为最小值时,i=Whh;
C23、当Nz-Nb
C24、令MINhh=Shh(Whh),并计算横向差分信号的横向求和雪地判据XDhh,计算公式为:上式中,Phh为横向差分信号的横向求和平均值;
C25、当XDhh横向差分信号的横向求和雪地门限MINhhxd时,进入步骤C26,否则进入步骤C27;
C26、令Fx=1,进入步骤B2;
C27、令Fx=0,进入步骤B2;
所述步骤B3中雪地地表裂缝隐患初筛子程序的具体步骤为:D1、将雪地图像进行灰度变换,并转换为8位整形灰度数据;
D2、根据8位整形灰度数据得到雪地8位整形灰度数据直方图;
D3、查找雪地8位整形灰度数据直方图中小于雪地直方图分界XDZF的最大值对应的亮度值XD1;
D4、查找雪地8位整形灰度数据直方图中大于雪地直方图分界XDZF的最大值对应的亮度值XD2;
D5、根据亮度值XD1和XD2计算阈值YZXD,计算公式为:YZXD=0.5(XD1+XD2);
D6、根据阈值YZXD对雪地8位整形灰度数据做二值化处理,得到二值化后每个像素数据CDZH(i,j),并通过像素数据CDZH(i,j)构成二值图像Icdlf;
D7、计算二值图像Icdlf的连通域;
D8、计算每个连通域边沿到质心距离的最大值LMAX(i),i=1,2,3,…nn,nn为连通域的个数;
D9、计算每个连通域边沿到质心距离的最小值LMIN(i);
D10、通过最大值LMAX(i)和最小值LMIN(i)计算每个连通域的狭长比XCB(i),计算公式为:XCB(i)=LMAX(i)/LMIN(i);
D11、当XCB(i)大于裂缝门限LFMX,且连通域的像素大于裂缝最小像素LFZXXS的连通域为裂缝,并将为裂缝的连通域赋值为1,其余连通域赋值为0,得到含裂缝二值图像Iclf;
所述步骤B4中草地判断子程序的具体步骤为:
E1、计算草地增强图像,草地增强图像的计算公式为:上式中,CZ(i1,j1)为草地增强图像每个像素的亮度,i1=1,2,3,……x,j1=1,2,3,……y,x为横向像素数或者取样横向像素数,y为纵向像素数或者取样纵向像素数,Ro(i1,j1)为传感电路原始像素图像的RGB信号中的红色信号,Bo(i1,j1)为RGB信号中的绿色信号,Go(i1,j1)为RGB信号中的蓝色信号;
E2、根据草地增强图像计算草地增强图像直方图,并找出直方图的最大值MAXcd;
E3、当MAXcd大于草地判断门限值MINcd时,令Fc=1,否则令Fc=0;
所述步骤B6中草地地表裂缝隐患初筛子程序的具体步骤为:F1、将草地增强图像转换为8位整形数据;
F2、根据8位整形数据得到草地增强图像8位整形数据直方图;
F3、查找草地增强图像8位整形数据直方图中小于200的最大值所对应的亮度值LD1;
F4、查找草地增强图像8位整形数据直方图中大于200的最小值所对应的亮度值LD2;
F5、通过亮度值LD1和亮度值LD2计算阈值YZld,计算公式为:YZld=0.5(LD1+LD2);
F6、根据阈值YZld,对草地增强图像8位整形数据做二值化处理,得到二值化处理后每个像素数据CDHZ(i,j),并通过像素数据CDHZ(i,j)构成二值图像Icdlf1,计算二值图像Icdlf1的连通域;
F7、计算每个连通域边沿到质心距离的最大值MMAX(i),i=1,2,3,…nn,nn为连通域的个数;
F8、计算每个连通域边沿到质心距离的最小值MMIN(i);
F9、通过最大值MMAX(i)和最小值MMIN(i)计算每个连通域的狭长比MXCB(i),计算公式为:MXCB(i)=MMAX(i)/MMIN(i);
F10、当MXCB(i)大于裂缝门限LFMX,且连通域的像素大于裂缝最小像素LFZXXS的连通域为裂缝,并将为裂缝的连通域赋值为1,其余连通域赋值为0,得到含裂缝二值图像Iclf1。
3.根据权利要求2所述的基于无人机的地表裂缝快速检测方法,其特征在于,所述步骤S4中像素抽样程序的具体步骤为:A1、设图像传感电路原始像素的RGB信号中的红色信号为Ro(i1,j1),绿色信号为Bo(i1,j1),蓝色信号为Go(i1,j1);
i1=1,2,3,…x,j1=1,2,3,…y,x为横向像素数,y为纵向像素数;
A2、设抽样后的图像像素的RGB信号中红色信号为Ry(i2,j2),绿色信号为By(i2,j2),蓝色信号为Gy(i2,j2);
i2=1,2,3,…m,j2=1,2,3,…n,m=[x/k],n=[y/k],[]为取整运算,k为抽样率,且k为整数,m为取样横向像素数,n为取样纵向像素数;
A3、令初始参数i=1,j=1;
A4、令初始参数a=i×k,b=j×k;
A5、令Ry(i,j)=Ro(a,b),Gy(i,j)=Go(a,b),By(i,j)=Bo(a,b);
A6、令i的值加1,当i>m时,进入步骤A7,否则返回步骤A4;
A7、令i=1,j的值加1,当j>n时,进入步骤A8,否则返回步骤A4;
A8、得到抽样后的图像像素并返回到可编程逻辑门阵列。
4.根据权利要求2所述的基于无人机的地表裂缝快速检测方法,其特征在于,所述步骤B7中水域初筛子程序的具体步骤为:G1、将彩色图像转化为8位灰度图像;
G2、基于最大类间方差法计算二值化阈值Xotsu;
G3、根据阈值Xotsu对8位灰度图像进行二值化处理,令二值化处理后的图像为I1;
G4、采用水域腐蚀结构元SYfs对图像I1进行腐蚀运算得到图像I2;
G5、采用水域闭运算结构元SYbi对图像I2进行闭运算得到图像I3;
G6、计算图像I3的连通域,取连通域最大的为河流,将连通域内的像素亮度为0,连通域外的像素亮度为1,得到处理后的河流区域图像Ih1;
所述步骤B8中地表裂缝隐患像素判断子程序的具体步骤为:H1、对河流区域图像Ih1、含裂缝二值图像Iclf或含裂缝二值图像Iclf1进行与运算,得到图像Iand;
H2、采用裂缝闭运算结构元LFbi对图像Iand进行闭运算,得到二值化地表裂缝隐患图像Izhyh;
所述步骤B9中地表裂缝隐患像素计数子程序的具体步骤为:将二值化裂缝隐患图像Izhyh中值为1的数量作为地表裂缝隐患像素数量。