一种基于Retinex算法的水下图像增强方法和装置转让专利

申请号 : CN202010064566.6

文献号 : CN111275644A

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 张森林沈莹刘妹琴樊臻何衍郑荣濠

申请人 : 浙江大学

摘要 :

本发明公开了一种基于Retinex算法的水下图像增强方法和装置。该方法包括:对原始RGB水下图像进行白平衡处理和颜色校正,得到预处理后的图像;将所述预处理后的图像转化至LAB色彩空间;采用单通道Retinex算法对L通道进行图像增强处理和亮度矫正,采用双边滤波对A和B通道进行颜色校正,得到LAB图像;将所述LAB图像转换至RGB图像,完成水下图像增强操作。本发明解决了水下图像清晰度低,偏色严重,物体边缘轮廓线不清晰等问题,达到色彩校正、边缘增强的效果。

权利要求 :

1.一种基于Retinex算法的水下图像增强方法,其特征在于,包括:对原始RGB水下图像进行白平衡处理和颜色校正,得到预处理后的图像;

将所述预处理后的图像转化至LAB色彩空间;

采用单通道Retinex算法对L通道进行图像增强处理和亮度矫正,采用双边滤波对A和B通道进行颜色校正,得到LAB图像;

将所述LAB图像转换至RGB图像,完成水下图像增强操作。

2.如权利要求1所述的一种基于Retinex算法的水下图像增强方法,其特征在于,所述对原始RGB水下图像进行白平衡处理和颜色校正,得到预处理后的图像,包括:将原有RGB图像转化到YCbCr色彩空间;

计算Cb和Cr通道的平均值和均方根;

根据所述平均值和均方根,选取白平衡参考点集合;

根据白平衡参考点集合,设为亮度阈值t,在RGB色彩空间内,R,G,B三通道中,将高于亮度阈值t的点的集合记为Rt,Gt,Bt,计算Rt,Gt,Bt的平均值;设原图内最大Y值为Ymax,通过Rt,Gt,Bt的平均值,计算三通道白平衡补偿,对三通道进行色彩校正。

3.如权利要求2所述的一种基于Retinex算法的水下图像增强方法,其特征在于,所述将原有RGB图像转化到YCbCr色彩空间,包括:

4.如权利要求2所述的一种基于Retinex算法的水下图像增强方法,其特征在于,所述计算Cb和Cr通道的平均值和均方根,包括:

1.2.1)计算Cb平均值和均方根,计算公式分别为:其中,Cbij为第i行第j列的Cb值;

1.2.2)计算Cr平均值和均方根,计算公式分别为:其中,Crij为第i行第j列的Cr值。

5.如权利要求2所述的一种基于Retinex算法的水下图像增强方法,其特征在于,所述根据所述平均值和均方根,选取白平衡参考点集合,包括:

1.3.1)将Cb和Cr通道内,同时满足 和 的点作为白平衡参考点候选集;

1.3.2)对上述点按照Y值有大到小进行排序,得到序列Pt;

1.3.3)选取Pt中前Q%的点为白平衡参考点集合Pw。

6.如权利要求2所述的一种基于Retinex算法的水下图像增强方法,其特征在于,所述对三通道进行色彩校正,包括:

1.4.1)取Pw中亮度Y的最小值,设为亮度阈值t;

1.4.2)在RGB色彩空间内,R,G,B三通道中,将高于亮度阈值t的点的集合记为Rt,Gt,Bt,计算Rt,Gt,Bt的平均值;

1.4.3)设原图内最大Y值为Ymax;

1.4.4)计算三通道白平衡补偿,计算公式如下:其中,Rg,Bg,Gg为计算得到的各通道白平衡增益;

1.4.5)对三通道进行色彩校正,校正公式如下:R'=Rg×R

B'=Bg×B

G'=Gg×G

其中,R’,B’,G’为最终得到RGB值。

7.如权利要求1所述的一种基于Retinex算法的水下图像增强方法,其特征在于,所述将所述预处理后的图像转化至LAB色彩空间,包括:

2.1)将所述预处理后的图像由RBG格式转化至XYZ色彩空间,计算公式如下:

2.2)由XYZ色彩空间转化至LAB色彩空间;

L=116f(Y)-16

其中,f(t)定义如下;

8.如权利要求1所述的一种基于Retinex算法的水下图像增强方法,其特征在于,所述采用单通道Retinex算法对L通道进行图像增强处理和亮度矫正,包括:

3.1)采用单通道Retinex算法对L通道进行图像增强处理,包括:

3.1.1)将未处理的原始亮度图记为L0,求取L0的对数log(L0);

3.1.2)对L0进行双边滤波,双边滤波函数如下:得到估计照射图像L1;

3.1.3)求取估计照射图像L1的对数log(L1);

3.1.4)最终得到的处理后亮度图

3.2)对L通道进行亮度校正,包括:

3.2.1)计算预处理图像亮度的最大值max0和最小值min0;

3.2.2)计算处理后亮度图亮度的最大值max和min;

3.2.3)对其进行线性拉伸,亮度调节公式如下:L'=aL+b

其中,a=(max0-min0)(max-min),b=max0-a×max。

9.如权利要求1所述的一种基于Retinex算法的水下图像增强方法,其特征在于,所述将所述LAB图像转换至RGB色彩空间,包括:

5.1)将所述LAB图像由LAB色彩空间转化至XYZ色彩空间;

其中,f-1(t)定义如下;

5.2)由XYZ色彩空间转化至RGB格式;

10.一种基于Retinex算法的水下图像增强装置,其特征在于,包括:预处理模块,用于对原始RGB水下图像进行白平衡处理和颜色校正,得到预处理后的图像;

第一空间转化模块,用于将所述预处理后的图像转化至LAB色彩空间;

处理模块,用于采用单通道Retinex算法对L通道进行图像增强处理和亮度矫正,采用双边滤波对A和B通道进行颜色校正,得到LAB图像;

第二空间转化模块,用于将所述LAB图像转换至RGB图像。

说明书 :

一种基于Retinex算法的水下图像增强方法和装置

技术领域

[0001] 本发明实施例涉及了一种图像增强技术,具体是涉及到一种基于Retinex算法的水下图像增强方法和装置。

背景技术

[0002] 水下光学图像是水下研究重要的数据之一。随着水下航行器的不断革新,获取水下图像越来越便利。但由于水体中有各种颗粒物质和浮游生物,会吸收、反射、折射部分光线,因而在水下拍摄的光学图像往往有清晰度差、色差严重等问题,这为后续研究带来了不小的障碍。

发明内容

[0003] 为了解决上述问题,充分考虑水下图像特点,本发明实施例提供了一种基于Retinex算法的水下图像增强方法和装置,解决了水下图像清晰度低,色差大,物体边缘轮廓线不清晰的问题。
[0004] 本发明实施例所采用的技术方案如下:
[0005] 本发明实施例提供一种基于Retinex算法的水下图像增强方法,包括:
[0006] 对原始RGB水下图像进行白平衡处理和颜色校正,得到预处理后的图像;
[0007] 将所述预处理后的图像转化至LAB色彩空间;
[0008] 采用单通道Retinex算法对L通道进行图像增强处理和亮度矫正,采用双边滤波对A和B 通道进行颜色校正,得到LAB图像;
[0009] 将所述LAB图像转换至RGB图像,完成水下图像增强操作。
[0010] 进一步地,所述对原始RGB水下图像进行白平衡处理和颜色校正,得到预处理后的图像,包括:
[0011] 将原有RGB图像转化到YCbCr色彩空间;
[0012] 计算Cb和Cr通道的平均值和均方根;
[0013] 根据所述平均值和均方根,选取白平衡参考点集合;
[0014] 根据白平衡参考点集合,设为亮度阈值t,在RGB色彩空间内,R,G,B三通道中,将高于亮度阈值t的点的集合记为Rt,Gt,Bt,计算Rt,Gt,Bt的平均值;设原图内最大Y值为Ymax,通过Rt,Gt,Bt的平均值,计算三通道白平衡补偿,对三通道进行色彩校正。
[0015] 进一步地,所述将原有RGB图像转化到YCbCr色彩空间,包括:
[0016]
[0017] 进一步地,所述计算Cb和Cr通道的平均值和均方根,包括:
[0018] 1.2.1)计算Cb平均值和均方根,计算公式分别为:
[0019]
[0020]
[0021] 其中,Cbij为第i行第j列的Cb值;
[0022] 1.2.2)计算Cr平均值和均方根,计算公式分别为:
[0023]
[0024]
[0025] 其中,Crij为第i行第j列的Cr值;
[0026] 进一步地,所述根据所述平均值和均方根,选取白平衡参考点集合,包括:
[0027] 1.3.1)将Cb和Cr通道内,同时满足 和的点作为白平衡参考点候选集;
[0028] 1.3.2)对上述点按照Y值有大到小进行排序,得到序列Pt;
[0029] 1.3.3)选取Pt中前Q%的点为白平衡参考点集合Pw。
[0030] 进一步地,所述对三通道进行色彩校正,包括:
[0031] 1.4.1)取Pw中亮度Y的最小值,设为亮度阈值t;
[0032] 1.4.2)在RGB色彩空间内,R,G,B三通道中,将高于亮度阈值t的点的集合记为Rt,Gt,Bt,计算Rt,Gt,Bt的平均值;
[0033] 1.4.3)设原图内最大Y值为Ymax;
[0034] 1.4.4)计算三通道白平衡补偿,计算公式如下:
[0035]
[0036]
[0037]
[0038] 其中,Rg,Bg,Gg为计算得到的各通道白平衡增益;
[0039] 1.4.5)对三通道进行色彩校正,校正公式如下:
[0040] R'=Rg×R
[0041] B'=Bg×B
[0042] G'=Gg×G
[0043] 其中,R’,B’,G’为最终得到RGB值。
[0044] 进一步地,所述将所述预处理后的图像转化至LAB色彩空间,包括:
[0045] 2.1)将所述预处理后的图像由RBG格式转化至XYZ色彩空间,计算公式如下:
[0046]
[0047] 2.2)由XYZ色彩空间转化至LAB色彩空间;
[0048] L=116f(Y)-16
[0049]
[0050]
[0051] 其中,f(t)定义如下;
[0052]
[0053] 进一步地,所述采用单通道Retinex算法对L通道进行图像增强处理和亮度矫正,包括:
[0054] 3.1)采用单通道Retinex算法对L通道进行图像增强处理,包括:
[0055] 3.1.1)将未处理的原始亮度图记为L0,求取L0的对数log(L0);
[0056] 3.1.2)对L0进行双边滤波,双边滤波函数如下:
[0057]
[0058]
[0059] 得到估计照射图像L1;
[0060] 3.1.3)求取估计照射图像L1的对数log(L1);
[0061] 3.1.4)最终得到的处理后亮度图
[0062] 3.2)对L通道进行亮度校正,包括:
[0063] 3.2.1)计算预处理图像亮度的最大值max0和最小值min0;
[0064] 3.2.2)计算处理后亮度图亮度的最大值max和min;
[0065] 3.2.3)对其进行线性拉伸,亮度调节公式如下:
[0066] L'=aL+b
[0067] 其中,a=(max0-min0)/(max-min),b=max0-a×max。
[0068] 进一步地,所述将所述LAB图像转换至RGB图像,包括:
[0069] 5.1)将所述LAB图像由LAB色彩空间转化至XYZ色彩空间;
[0070]
[0071]
[0072]
[0073] 其中,f-1(t)定义如下;
[0074]
[0075] 5.2)由XYZ色彩空间转化至RGB格式;
[0076]
[0077] 第二方面,本发明实施例提供一种基于Retinex算法的水下图像增强装置,包括:
[0078] 预处理模块,用于对原始RGB水下图像进行白平衡处理和颜色校正,得到预处理后的图像;
[0079] 第一空间转化模块,用于将所述预处理后的图像转化至LAB色彩空间;
[0080] 处理模块,用于采用单通道Retinex算法对L通道进行图像增强处理和亮度矫正,采用双边滤波对A和B通道进行颜色校正,得到LAB图像;
[0081] 第二空间转化模块,用于将所述LAB图像转换至RGB图像。
[0082] 本发明实施例具备的有益效果是:本发明实施例提供了一种基于Retinex算法的水下图像增强方法和装置,解决了水下图像清晰度低,色差大,物体边缘轮廓线不清晰的问题,采用了白平衡处理算法和LAB色彩空间下的单通道Retinex算法对水下图像进行增强处理,起到色彩校正和边缘增强的效果,明显提高水下图像质量。该方法为水下图像增强提供了新方法,对水下图像处理有重要意义。

附图说明

[0083] 此处所说明的附图用来提供对本发明的进一步理解,构成本发明的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
[0084] 图1为本发明实施例提供的一种基于Retinex算法的水下图像增强方法的流程框图;
[0085] 图2为本发明实施例中白平衡处理流程图;
[0086] 图3为本发明实施例中单通道Retinex算法流程图;
[0087] 图4为水下图像原图、SSR算法处理后得到图像、MSR算法处理后得到图像和本发明方法处理后得到图像的对比图;
[0088] 图5a-图5e为实验所用到水下图像原图和本发明处理得到的图的对比图;
[0089] 图6为本发明实施例提供的一种基于Retinex算法的水下图像增强装置的框图。

具体实施方式

[0090] 为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应该理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
[0091] 相反,本发明涵盖任何由权利要求定义的在本发明的精髓和范围上做的替代、修改、等效方法以及方案。进一步,为了使公众对本发明有更好的了解,在下文对本发明的细节描述中,详尽描述了一些特定的细节部分。
[0092] 图1为本发明实施例提供的一种基于Retinex算法的水下图像增强方法的流程框图;
[0093] 步骤S101,对原始RGB水下图像进行白平衡处理和颜色校正,得到预处理后的图像;
[0094] 步骤S102,将所述预处理后的图像转化至LAB色彩空间;
[0095] 步骤S103,采用单通道Retinex算法对L通道进行图像增强处理和亮度矫正,采用双边滤波对A和B通道进行颜色校正,得到LAB图像;
[0096] 步骤S104,将所述LAB图像转换至RGB图像,完成水下图像增强操作。
[0097] 通过以上方法解决了水下图像清晰度低,色差大,物体边缘轮廓线不清晰的问题,采用了白平衡处理算法和LAB色彩空间下的单通道Retinex算法对水下图像进行增强处理,起到色彩校正和边缘增强的效果,明显提高水下图像质量。该方法为水下图像增强提供了新方法,对水下图像处理有重要意义。
[0098] 下面以实施例的形式对上述步骤做详细的说明,本实施例以水下拍摄的单张彩色光学图像,需要对该图像进行色彩校正和边缘轮廓线增强处理,输出一张图像为例进行说明。
[0099] 步骤S101,对原始RGB水下图像进行白平衡处理和颜色校正,得到预处理后的图像;针对水下图像预处理,本发明贴合水下图像成像特点,提出了针对偏色的YCrCb色彩空间下的白平衡处理算法,修复了偏蓝绿色的水下图像;
[0100] 具体地:
[0101] 采用改进白平衡算法对水下图像进行预处理,该算法流程图如图2所示。
[0102] 1.1)将原有RGB图像转化到YCbCr色彩空间,计算公式如下:
[0103]
[0104] 1.2)计算Cb和Cr通道的平均值和均方根;
[0105] 1.2.1)计算Cb平均值和均方根,计算公式分别为:
[0106]
[0107]
[0108] 其中,Cbij为第i行第j列的Cb值;
[0109] 1.2.2)计算Cr平均值和均方根,计算公式分别为:
[0110]
[0111]
[0112] 其中,Crij为第i行第j列的Cr值。
[0113] 1.3)选取白平衡参考点集合。
[0114] 1.3.1)将Cb和Cr通道内,同时满足 和的点作为白平衡参考点候选集。
[0115] 1.3.2)对上述点按照Y值有大到小进行排序,得到序列Pt。
[0116] 1.3.3)选取Pt中前10%的点为白平衡参考点集合Pw。
[0117] 1.4)对图像进行色彩校正。
[0118] 1.4.1)取Pw中亮度Y的最小值,设为亮度阈值t。
[0119] 1.4.2)在RGB色彩空间内,R,G,B三通道中,将高于亮度阈值t的点的集合记为Rt,Gt,Bt,计算Rt,Gt,Bt的平均值。
[0120] 1.4.3)设原图内最大Y值为Ymax。
[0121] 1.4.4)计算三通道白平衡补偿,计算公式如下:
[0122]
[0123]
[0124]
[0125] 其中,Rg,Bg,Gg为计算得到的各通道白平衡增益;
[0126] 1.4.5)对三通道进行色彩校正,校正公式如下:
[0127] R'=Rg×R
[0128] B'=Bg×B
[0129] G'=Gg×G
[0130] 其中,R’,B’,G’为最终得到RGB值。
[0131] 步骤S102,将所述预处理后的图像转化至LAB色彩空间,具体地:
[0132] 2.1)将所述预处理后的图像由RBG格式转化至XYZ色彩空间,计算公式如下:
[0133]
[0134] 2.2)由XYZ色彩空间转化至LAB色彩空间,计算公式如下:
[0135] L=116f(Y)-16
[0136]
[0137]
[0138] 其中,f(t)定义如下:
[0139]
[0140] 步骤S103,采用单通道Retinex算法对L通道进行图像增强处理和亮度矫正,采用双边滤波对A和B通道进行颜色校正,得到LAB图像;
[0141] 针对水下图像增强算法,因为RGB模式下的Retinex算法无法单独对光强进行处理,本发明提出了LAB色彩空间下的Retinex算法,将光强与颜色通道分离,采用双边滤波作为 Retinex算法的核函数,对其去雾处理;
[0142] 针对水下图像亮度矫正,鉴于Retinex处理得到的图像往往较暗,本发明提出了对L通道的亮度校正处理,在保留明暗交界的同时,以预处理得到的图片为基准,对亮度进行校正,得到了清晰的图像;
[0143] 针对水下图像色彩校正,本发明提出了对A通道和B通道的色彩校正,因为上述两通道均为色彩信息,所以对其进行双边滤波,保留边缘信息的同时,使同一区域的颜色过渡更平滑。
[0144] 具体地:
[0145] 3.1)采用单通道Retinex算法对L通道进行图像增强处理,如图3所示,包括:
[0146] 3.1.1)将未处理的原始亮度图记为L0,求取L0的对数log(L0)。
[0147] 3.1.2)对L0进行双边滤波,双边滤波函数如下:
[0148]
[0149]
[0150] 得到估计照射图像L1。
[0151] 3.1.3)求取估计照射图像L1的对数log(L1)。
[0152] 3.1.4)最终得到的处理后亮度图
[0153] 3.2)对L通道进行亮度校正,包括:
[0154] 3.2.1)计算预处理后的图像亮度的最大值max0和最小值min0。
[0155] 3.2.2)计算处理后亮度图亮度的最大值max和min。
[0156] 3.2.3)对其进行线性拉伸,计算公式如下:
[0157] L'=aL+b
[0158] 其中,a=(max0-min0)/(max-min),b=max0-a×max。
[0159] 3.3)采用双边滤波对A和B通道进行颜色校正,包括:
[0160] 3.3.1)采用双边滤波对A通道进行颜色校正。
[0161] 3.3.2)采用双边滤波对B通道进行颜色校正。
[0162] 步骤S104,将所述LAB图像转换至RGB图像,完成水下图像增强操作。
[0163] 4.1)将所述LAB图像转化至XYZ色彩空间,计算公式如下:
[0164]
[0165]
[0166]
[0167] 其中,f-1(t)定义如下;
[0168]
[0169] 4.2)由XYZ色彩空间转化至RGB格式,计算公式如下:
[0170]
[0171] 对原水下图像分别用SSR算法、MSR算法和本发明算法进行处理,得到图像对比图如图 4所示。可以看到,从主观判断而言,本发明算法处理后的图像更为清晰,边缘清晰、色彩失真程度小。
[0172] 本发明使用了峰值信噪比PSNR指标和水下图像色度标准UIQM两个客观指标对处理所得图像进行对比分析:PSNR指标衡量图像处理后的失真程度,数值越大,则说明图像失真越小;UIQM指标衡量的程度,数值越大,则说明图像的颜色分布越符合人类视觉,算法效果越好。采用的水下图像为图5a、b、c、d和e五幅图左侧的原图,得到结果如表 1所示。
[0173] 表1各图像的PSNR值和UIQM值
[0174]
[0175] 本发明实施例还提供了一种基于Retinex算法的水下图像增强装置,用于执行一种基于 Retinex算法的水下图像增强方法,图6为根据本发明实施例的一种基于Retinex算法的水下图像增强装置的结构示意图,该装置包括:
[0176] 预处理模块101,用于对原始RGB水下图像进行白平衡处理和颜色校正,得到预处理后的图像;
[0177] 第一空间转化模块102,用于将所述预处理后的图像转化至LAB色彩空间;
[0178] 处理模块103,用于采用单通道Retinex算法对L通道进行图像增强处理和亮度矫正,采用双边滤波对A和B通道进行颜色校正,得到LAB图像;
[0179] 第二空间转化模块104,用于将所述LAB图像转换至RGB像。
[0180] 上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
[0181] 在本发明的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
[0182] 在本发明所提供的几个实施例中,应该理解到,所揭露的技术内容,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,可以为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
[0183] 所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0184] 另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
[0185] 所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
[0186] 虽然结合这里的具体实施例来描述本发明,但一些改变和修改对于本领域的技术人员而言是显而易见的,其不脱离本发明的真实精神。因此,本发明并非是通过这里的具体描述来进行理解,而是通过所附权利要求来进行理解。