一种合成多幅不同曝光度图像的方法转让专利
申请号 : CN201610355263.3
文献号 : CN106169182B
文献日 : 2019-08-09
发明人 : 刘卫华 , 吴小峰
申请人 : 西安邮电大学
摘要 :
本发明公开了一种合成多幅不同曝光度图像的方法，包括获取多幅不同曝光度的图像；然后获取每幅图像的区域方差、对比度和饱和度的权重系数；再根据上述权重系数获取每幅图像的区域方差、对比度和颜色饱和度的加权系数；再根据上述加权系数获取所有图像的区域平滑权重；最后合成并输出单幅高质量图像。实现了即使自然场景光照强度动态范围与相机动态范围不匹配，也能获得场景信息完整的高质量图像的发明目的。
权利要求 :
1.一种合成多幅不同曝光度图像的方法，其特征在于，包括对多幅不同曝光度的图像的局部方差、对比度和颜色饱和度设计权重系数，并且根据该权重系数进行平滑权重系数修正，然后合成高质量图像；
具体步骤如下：
步骤1:获取曝光度不同，但是图像内容相同的图像；
步骤2:获取每幅图像中每个像素(i,j)的方差特征Cvar(i,j)，具体为：其中Cvar(i,j)为该幅图像上以X(i,j)像素点为中心边长为(2k+1)的正方形区域的方差，其中 为该区域内的像素的平均值，X(m,n)为图像在(m,n)点的亮度值，d＝(2k+1)×(2k+1)；
所述步骤2还包括获取每幅图像每个像素的对比度权重系数Ccontrast(i,j)；具体的步骤为：获得RGB彩色图像的亮度分量Xgray，其中Xgray＝(XR(m,n)+XG(m,n)+XB(m,n))/3，然后将亮度分量Xgray与拉普拉斯算子T做卷积，得到对比度权重系数Ccontrast(i,j)，其中；
所述步骤2还包括获取每幅图像每个像素的饱和度权重系数Csaturation(i,j)；具体的步骤为：步骤3 ：确定每幅图 像中每个像素的 加权系数wl (i ,j) ；具体为 ：其中,ρ为大于0的实数；ζ为一个特别小的保证分母不为零的数；
n幅多曝光图像的某像素(i，j)处的质量测度为C1(i,j)，C2(i,j)，C3(i,j)…；
所述Cl(i,j)＝Cαvar(i,j)*Cβcontrast(i,j)*Cγsaturation(i,j)，其中α为0时不考虑方差权重，α为1时考虑方差权重，β为0时不考虑对比度权重，β为1时考虑对比度权重，γ为0时不考虑饱和度权重，γ为1时考虑饱和度权重；
步骤4：获得所有图像中每个像素的平滑权重系数具体为：且|wl(m,n)|为步骤3中得到图像加权系数的绝对值；
步骤5：合成目标图像XHDR；具体为： 其中 为步骤4中得到的平滑权重系数 P表示输入图像的个数，Xl(i,j)为输入的图像。
2.根据权利要求1所述的一种合成多幅不同曝光度图像的方法，其特征在于，所述步骤
1中获得的图像的内容为静止状态的物体，且图像为RGB彩色图像。
3.根据权利要求2所述的一种合成多幅不同曝光度图像的方法，其特征在于，所述步骤
1中获得的图像为灰度图像时，β、γ均为0，α为1。
4.根据权利要求3所述的一种合成多幅不同曝光度图像的方法，其特征在于，所述步骤
1中获得的图像为RGB彩色图像时，α、β、γ均为1。
说明书 :
一种合成多幅不同曝光度图像的方法
技术领域
[0001] 本发明属于图像处理技术领域，涉及一种合成多幅图像的方法，具体涉及一种合成多幅不同曝光度图像的方法。
背景技术
[0002] 自然场景的亮度范围非常宽广，从夜空中的星光到正午的阳光，场景亮度在0～109之间。但是，目前普通的图像设备受到软硬件水平的限制，使得数字图像的存储、传输、处理、显示等都是基于8bit整数来进行的，只能表示256(约102)个深度等级，图像的亮度级别十分有限。自然界光照强度的动态范围和普通硬件设备光照强度的动态范围不匹配，造成我们获取的图像不够清晰。
[0003] 在日常生活中，我们用传统图像获取装置拍照时会遇到这样的情况：1、在室内面向有阳光入射的窗户拍摄(即，背光情况)，不能同时将窗外强光下的蓝天白云和室内弱光的场景拍摄清晰；2、正月十五花灯旁的人物和背后璀璨的花灯也不能同时拍摄清晰；3、夜晚霓虹闪烁的美丽天桥和天桥上的车辆、行人也不能同时拍摄清晰。诸如此类，多种场景，无论怎样调整相机参数，都不会将所有场景的细节信息展现清晰。这是因为真实场景展现的亮度范围超出了相机本身所能显示的动态范围，当相机的曝光度较大时，自然场景中亮度较大区域出现过曝现象；当相机的曝光度较小时，自然场景中亮度较小区域出现欠曝光现象。由于自然场景光照强度动态范围和相机动态 范围的不匹配，导致图像中部分场景的细节信息丢失。因此，需要提出一种可以在普通显示设备上显示高动态自然场景的方法，从而解决真实场景的动态范围与普通显示设备动态范围的不匹配问题，同时节约硬件成本。
发明内容
[0004] 本发明的目的是提供一种合成多幅不同曝光度图像的方法，解决了现有技术中存在的自然场景光照强度动态范围与相机动态范围不匹配，导致图像获取装置获取图像时部分场景细节信息丢失的问题。
[0005] 本发明所采用的技术方案是，一种合成多幅不同曝光度图像的方法，包括对多幅不同曝光度的图像的局部方差、对比度和颜色饱和度设计权重系数，并且根据该权重系数进行平滑权重系数修正，然后合成高质量图像；具体步骤如下：
[0006] 步骤1：获取曝光度不同，但是图像内容相同的图像；
[0007] 步骤2：获取每幅图像中每个像素(i,j)的方差特征Cvar(i,j)，具体为： 其中Cvar(i,j)为该幅图像上以X(i,j)像素点为中心边长为(2k+1)的正方形区域的方差，其中 为该区域内的像素的平均值，X(m,n)为图像在(m,n)点的亮度值，d＝(2k+1)×(2k+1)；
[0008] 步骤3：确定每幅图像中每个像素的加权系数wl(i ,j)；具体为： 其中Cl(i,j)为步骤2所得到的Cl(i,j)；
[0009] 步骤4：获得所有图像中每个像素的平滑权重系数 具体为： 且|wl(m,n)|为步骤3中得到图像加权系数
的绝对值；
的绝对值；
[0010] 步骤5：合成目标图像XHDR；具体为： 其中 为步骤4中得到的平滑权重系数 P表示输入图像的个数，Xl(i,j)为输入的图像。
[0011] 本发明的特点还在于，
[0012] 其中步骤1中获得的图像的内容为静止状态的物体，且图像为RGB彩色图像。
[0013] 其中步骤2还包括获取每幅图像每个像素的对比度权重系数Ccontrast(i,j)；具体的步骤为：获得RGB彩色图像的亮度分量Xgray，其中Xgray＝(XR(m,n)+XG(m,n)+XB(m,n))/3，然后将亮度分量Xgray与拉普拉斯算子T做卷积，得到对比度权重系数Ccontrast(i,j)，其中 [0014] 其中步骤2还包括获取每幅图像每个像素的饱和度权重系数Csaturation(i,j)；具体的步骤为：
[0015]
[0016] 其中步骤3中的Cl(i,j)＝Cαvar(i,j)*Cβcontrast(i,j)*Cγsaturation(i,j)，其中α为0时不考虑方差权重，α为1时考虑方差权重，β为0时不考虑对比度权重，β为1时考虑对比度权重，γ为0时不考虑饱和度权重，γ为1时考虑饱和度权重。
[0017] 其中步骤1中获得的图像为灰度图像时，β、γ均为0，α为1。
[0018] 其中步骤1中获得的图像为RGB彩色图像时，α、β、γ均为1。
[0019] 本发明的有益效果是，首先采集多幅不同曝光且内容相同的图像作为输 入，然后在图像的空间域提取各图像基于像素的方差、对比度、颜色饱和度联合特征矩阵，在基于上述联合特征矩阵获取方差、对比度、颜色饱和度设计权重系数；质量高的像素或者区域赋予较大的权值，质量低的像素赋予较小的权值，将含有丰富细节特征的高质量的像素提取到最终的合成图像中，从而获得能够展现自然界的高质量图像，实现了即使自然场景光照强度动态范围与相机动态范围不匹配，也能获得场景信息完整的高质量图像。
附图说明
[0020] 图1是本发明一种合成多幅不同曝光度图像的方法的流程图；
[0021] 图2是本发明一种合成多幅不同曝光度图像的方法中实施例1的输入多幅不同曝光度的图像；
[0022] 图3是本发明一种合成多幅不同曝光度图像的方法中实施例1融合后的图像；
[0023] 图4是本发明一种合成多幅不同曝光度图像的方法中实施例2的输入多幅不同曝光度的图像和融合后的图像；
[0024] 图5是本发明一种合成多幅不同曝光度图像的方法中实施例2中各图像的红色分量直方图。
具体实施方式
[0025] 下面结合附图和具体实施方式对本发明进行详细说明。
[0026] 本发明提供了一种合成多幅不同曝光度图像的方法，如图1所示，包括获取多幅不同曝光度的图像；然后获取每幅图像的区域方差、对比度和饱和度的权重系数；在根据上述权重系数获取每幅图像的区域方差、对比度和颜色饱和度的加权系数；再根据上述加权系数获取所有图像的区域平滑权重；最后合成并输出单幅高质量图像。
[0027] 具体的本发明包括合成灰度图像和RGB彩色图像的两种图像处理方式，其中灰度图像只涉及图像的方差的处理，不包括图像的对比度和颜色饱和度的处理；RGB彩色图像则包括方差、对比度和颜色饱和度的处理。
[0028] 其中灰度图像的处理过程具体如下：
[0029] 步骤1：使用图像获取装置获得多幅不同曝光度的灰度图像，图像的内容完全一样且图像内容为静止物体，可使用三脚架固定相机、摄像机等装置对同一静态物体，连拍多张相同内容的不同曝光度的灰度图像，记作X1,X2,X3,…,Xp。
[0030] 步骤2：根据步骤1中获取的每张灰度图像，获取每幅图像的方差权重系数Cvar(i,j)，具体的 其中Cvar(i,j)具体表示为以X(i,j)为中心的(2k+1)*(2k+1)的正方形区域的局部特征，其中 为该区域内的像素的平均值，X(m,n)为图像在(m,n)点的亮度值，d＝(2k+1)×(2k+1)。该步骤中获取每幅图像同一区域的方差权重系数Cvar(i,j)的过程中，图像同一区域的方差大，对比度大，饱和度越大，则说明该区域的图像质量高，细节特征丰富，并且为了避免分块融合带来的边界效应，采取基于像素的融合方法，通常以该像素为中心的正方形区域的区域特征来描述这个局部特征。当区域特征较大时，图像含有较多的细节信息，该像素作为优质资源被提取到最终的融合图像中，否则，认为是劣质资源，被舍弃。
[0031] 步 骤3 ：获取 每 幅图 像 同 一区 域 的 加权 系 数w l (i ,j) ，其中 ,具体的wl(i,j)表示为第l幅图像的加 权系数，且Cl(i,j)为步骤2所得到的Cvar(i,j)；记n幅多曝光图像的某像素(i,j)处的质量测度为C1(i,j),C2(i,j),C3(i,j)…，其中ξ是一个无比小的数，其作用在于保证分母不为零。
在p幅低动态图像中，某像素点处的质量测度较大，就认为该点处质量较好，因此，在合成的目标图像中占得的权重较大，这样就会提取每幅图像中细节较多的部分到合成目标图像中。
在p幅低动态图像中，某像素点处的质量测度较大，就认为该点处质量较好，因此，在合成的目标图像中占得的权重较大，这样就会提取每幅图像中细节较多的部分到合成目标图像中。
[0032] 步骤4：获取所有图像的区域平滑权重 具体的 且|wl(m,n)|为步骤3中得到图像加权
系数的绝对值；该部分对步骤3中的加权系数单元的权系数继续修正，使得合成后的图像更加自然、流畅，符合人类视觉特性。由于每幅图像曝光度的不同，在不同幅图像中同一位置的像素点与其周围像素的亮度差异不同，即A幅图像中区域特征较丰富的像素a与B幅图像中区域特性较丰富的相邻像素b提取在一起，会出现明显的亮度差异，因此，直接按照步骤3公式合成会出现明显的色彩斑块。尽管合成图像中细节特征显著，但是不够平滑，相邻像素之间的过渡较为激烈，因此，本发明继续对加权系数的公式wl修正。利用本步骤中的公式对每个加权系数wl用正方形掩模进行平均滤波，每个加权系数修正为以此为中心的正方形掩模区域内的平均值，从而消除相邻像素加权系数的差异，得到最终的权重系数。
系数的绝对值；该部分对步骤3中的加权系数单元的权系数继续修正，使得合成后的图像更加自然、流畅，符合人类视觉特性。由于每幅图像曝光度的不同，在不同幅图像中同一位置的像素点与其周围像素的亮度差异不同，即A幅图像中区域特征较丰富的像素a与B幅图像中区域特性较丰富的相邻像素b提取在一起，会出现明显的亮度差异，因此，直接按照步骤3公式合成会出现明显的色彩斑块。尽管合成图像中细节特征显著，但是不够平滑，相邻像素之间的过渡较为激烈，因此，本发明继续对加权系数的公式wl修正。利用本步骤中的公式对每个加权系数wl用正方形掩模进行平均滤波，每个加权系数修正为以此为中心的正方形掩模区域内的平均值，从而消除相邻像素加权系数的差异，得到最终的权重系数。
[0033] 步骤5：合成高质量的目标图像XHDR，具体为： 其中为步骤4中得到的平滑权重系数 P为输入图像的个数，Xl为输入的多幅不同
曝光的图像。该部分将生成最终的高质量图像，利用多幅低动态图像和修正后的加权系数，将多幅不同曝光的低动态图像中的清晰区域提取到目标合成图像中，从而获得高质量图像。该高质量图像集合了多 幅低动态图像的清晰细节，能够同时展现强光处的场景和暗光处的场景，即高动态范围下的场景。
曝光的图像。该部分将生成最终的高质量图像，利用多幅低动态图像和修正后的加权系数，将多幅不同曝光的低动态图像中的清晰区域提取到目标合成图像中，从而获得高质量图像。该高质量图像集合了多 幅低动态图像的清晰细节，能够同时展现强光处的场景和暗光处的场景，即高动态范围下的场景。
[0034] 当处理的图像为RGB彩色图像时，需要对RGB彩色图像进行灰度处理，然后分别在步骤2中获取每幅图像的对比度权重系数Ccontrast(i,j)和颜色饱和度权重系数Csaturation(i,j)。具体的过程为：
[0035] 获得对比度权重系数Ccontrast(i,j)，首先获得RGB彩色图像的亮度分量Xgray，其中Xgray＝(XR(m,n)+XG(m,n)+XB(m,n))/3，然后将亮度分量Xgray与拉普拉斯算子T做卷积，得到对比度权重系数Ccontrast(i,j)，其中 此特征能够锐化亮度图像的细节，得到对比度较显著的边缘等细节。
[0036] 获得颜色饱和度权重系数Csaturation(i,j)，具体的包括：
[0037]
[0038] 在获得每幅图像的方差权重系数Cvar(i,j)、比度权重系数Ccontrast(i,j)和颜色饱α β和度权重系数Csaturation(i,j)之后，在步骤3中的公式中C(i,j)＝Cvar(i,j)*Ccontrast(i,j)*Cγsaturation(i,j)，其中α为0时不考虑方差权重，α为1时考虑方差权重，β为0时不考虑对比度权重，β为1时考虑对比度权重，γ为0时不考虑饱和度权重，γ为1时考虑饱和度权重。具体的当获得的图像为灰度图像时，β、γ均为0，α为1；当获得的图像为RGB彩色图像时，α、β、γ均为1。
[0039] 如图2所示，图中给出了实施例1的原始图像1-4，原始图像1-4的曝光度分别为1/2500秒，1/400秒，1/200秒，1/1000秒，并且其图像为灰度图像，图像内容完全一致，且为静态物体。图3中上边的实施例1的初步合 成的高动态图像是经过步骤3但是没有经过步骤4合成的图像，图3中下边的实施例1的平滑权重系数后合成的高动态图像则为经过步骤4之后合成的高质量图像，其效果、明显比原始图像好很多，并且图像细节清晰，内容清楚。
[0040] 图4所示为实施例2的原始图像1-4，原始图像1-4的曝光度分别为1/2秒，1/20秒，1/60秒，1/250秒，并且其图像为RGB彩色图像，图像内容完全一致，且为静态物体。并且给出了初步融合图像和平滑融合图像，从图中可以看出平滑融合图像的展示清晰，能够清楚的看到建筑物的场景细节特征。
[0041] 图5为实施例2的原始图像1-4、初步融合图像和最终融合图像的红色分量直方图。在原始图像1-4中红色分量分布没有规律，且表现不是很饱满，在初步融合图像和最终融合图像中可以看到，红色分量分布曲线平滑，且在最终融合图像红色分量的特征值最高，色彩展现最饱满。因此本发明实现了即使自然场景光照强度动态范围与相机动态范围不匹配，也能获得场景信息完整的高质量图像的发明目的。