本发明属于属于光学图像处理技术领域，具体涉及一种基于多尺度时域矩匹配非均匀性校正方法。该方法的具体步骤是：1)输入原始图像序列，进行三层金子塔分解；2)判断相邻帧图像是否发生全局运动；3)计算个金子塔分量的列均值和列方差；4)分别对各金字塔分量图像进行非均匀校正；5)重构去条纹噪声后的图像；本发明的方法不仅计算量小，校正精度高，适应性广，并能有效抑制目标退化，解决伪像(鬼影)的问题。
1.一种多尺度时域矩匹配非均匀性校正方法，其特征在于，包括以下步骤：
1)将原始图像序列X(i,j,n)进行K层拉普拉斯金字塔分解，得到K个拉普拉斯金字塔分量图像LP1(i,j,n)、LP2(i,j,n)、……、LPK(i,j,n)和1个高斯金字塔分量图像GAK(i,j,n)；
原始图像序列X(i,j,n)和其分解后的金字塔分量图像具有关系是：X(i,j,n)＝LP1(i,j,n)+LP2(i,j,n)+LP3(i,j,n)+...+LPK(i,j,n)+GAK(i,j,n)；
其中，i,j为像元坐标，n为帧计数，i＝1,2,...M；j＝1,2,...N；2)分别计算分解后各金字塔分量图像LP1(i,j,n)、LP2(i,j,n)、……、LPK(i,j,n)和GAK(i,j,n)中的列均值μX(j,n)和列方差σX(j,n)；
其中，LPX的取值分别为LP1、LP2、……、LPK和GAK；
3)判断原始图像序列中相邻两帧图像之间是否发生全局运动；设相邻两帧图像分别为X(i,j,n-1)和X(i,j,n)；
3.1)对相邻帧图像的高斯金字塔分量GAK(i,j,n-1)和GAK(i,j,n)分别进行边缘检测，设边缘检测的结果分别为E(i,j,n-1)和E(i,j,n)；若点(i,j)为边缘点，则令E(i,j,n)＝1，否则令E(i,j,n)＝0；
3.2)通过边缘检测结果分别计算出E(i,j,n-1)和E(i,j,n)中的边缘点的数目p(n-1)和p(n)，并统计出E(i,j,n-1)和E(i,j,n)中位置重合的边缘点的数目pp；
3.3)若p(n-1)、p(n)和pp之间满足 其中，δ的取值范围为0.96～0.98；
则认为相邻帧图像X(i,j,n-1)和X(i,j,n)之间没有发生全局运动，否则认为相邻帧图像X(i,j,n-1)和X(i,j,n)之间发生了全局运动；
4)当相邻帧图像X(i,j,n-1)和X(i,j,n)之间发生了全局运动，需计算当前帧图像LP1(i,j,n)、LP2(i,j,n)、……、LPK(i,j,n)和GAK(i,j,n)的列均值μX(j,n)和列方差σX(j,n)；具体关系式是：其中，T为固定的时间常数，T＝33，X分别取值LP1、LP2、……、LPK和GAK；
若相邻帧图像X(i,j,n-1)和X(i,j,n)之间没有发生全局运动，则当前帧图像LP1(i,j,n)、LP2(i,j,n)、……、LPK(i,j,n)和GAK(i,j,n)的列均值和列方差沿用上一帧的列均值和列方差，具体关系式是：其中，X分别取值LP1、LP2、……、LPK和GAK；
5)分别对各金字塔分量图像LP1(i,j,n)、LP2(i,j,n)、……、LPK(i,j,n)和GAK(i,j,n)进行非均匀性校正，具体关系式是：其中，X(i,j,n)分别取值LP1(i,j,n)、LP2(i,j,n)、……、LPK(i,j,n)和GAK(i,j,n)；μX(r,n)和σX(r,n)分别为各金字塔分量的均值和方差，X分别取值LP1、LP2、……、LPK和GAK；
6)利用校正后的各金字塔分量YX(i,j,n)重构得到最终的去除了条纹噪声的图像Y(i,j,n)，具体关系式是：Y(i,j,n)＝∑YX(i,j,n)＝YLP1(i,j,n)+YLP2(i,j,n)+...+YLPK(i,j,n)+YGAK(i,j,n)。
2.根据权利要求1所述的多尺度时域矩匹配非均匀性校正方法，其特征在于，所述步骤
一种多尺度时域矩匹配非均匀性校正方法
技术领域
[0001] 本发明属于光学图像处理技术领域技术领域，涉及一种非制冷红外焦平面阵列条纹噪声的去除方法，具体涉及一种基于多尺度时域矩匹配非均匀性校正方法。
背景技术
[0002] 红外焦平面阵列(简称IRFPA)是感知景物热辐射特性的探测器，其各探测元之间响应的不均匀性称之为固定图案噪声。该图案噪声是严重影响IRFPA成像系统温度分辨率和空间分辨率的主要因素，并限制了系统的信噪比和成像质量，直接制约着系统的最终性能。
[0003] 非均匀性校正技术是去除固定图案噪声，提高成像质量的有力措施。目前常用的校正方法主要包括辐射定标校正法和自适应场景校正法。
[0004] 辐射定标校正法通常依赖于黑体来获得校正系数，虽然算法简单，易于实施，但存在无法自适应地更新校正参数的缺点。
[0005] 场景自适应校正法通常利用图像序列对校正参数进行估计和更新，可以克服IRFPA空间非均匀性随时间的缓慢漂移，具有自适应和智能化的优点，是目前非均匀性校正领域的研究重点。
[0006] 基于场景的自适应校正算法目前主要有时域高通滤波法、恒定统计法、神经网络法等。这些方法是普遍适用的方法，对各种类型的固定图案噪声都采取了同样的处理策略，并且通常要求场景处于连续运动状态，且帧与帧之间的位移不能过大，因此存在计算量大，适用场合有限的问题。而实际上，IRFPA固定图案噪声有多种表现形式。制冷型IRFPA的固定图案噪声分布较为随机，没有明显的规律性；而非制冷型IRFPA由于其读出电路的特殊结构，其固定图案噪声通常表现为行或列分布的条纹噪声。
[0007] 针对非制冷IRFPA特殊的条纹非均匀性噪声，任建乐等在(基于配准的红外焦平面阵列条纹非均匀性校正，红外与毫米波学报，2011，Vol.30，No.6)一文中提出了基于配准的校正方法，利用相邻两帧精确配准的图像序列计算出校正参数，达到去除条带噪声的目的。该方法的校正效果依赖于高精度的图像配准。但是在条纹噪声的影响下，进行高精度的配准是较为困难的。祝善友等在(基于方差补偿矩匹配的红外图像非均匀性校正方法，光学学报，2013，Vol.33，No.12)一文中提出了方差补偿和矩匹配相结合的方法，用来去除红外线列扫描相机中的条纹噪声。但将该方法直接应用于凝视型的非制冷IRFPA中，图像仍然存在畸变，部分条纹噪声得不到彻底去除。
[0008] 综上所述，针对非制冷IRFPA特殊的条纹非均匀性噪声，如何在有效保持成像质量的前提下，寻求一种易于实现、可靠性高、适应性广的自适应校正方法就显得尤为重要。
发明内容
[0009] 本发明针对非制冷IRFPA特殊的条纹非均匀性噪声，提出了一种多尺度时域矩匹配非均匀性校正方法，该方法将矩匹配技术在时间域进行扩展，并和多尺度分解的思想相结合，通过对变化列的检测，自适应地进行校正系数的更新，该方法不仅计算量小，校正精度高，适应性广，并能有效抑制目标退化，解决伪像(鬼影)的问题。
[0010] 本发明的技术方案是：
[0011] 一种多尺度时域矩匹配非均匀性校正方法，其特征在于，包括以下步骤：
[0012] 1)将原始图像序列X(i,j,n)进行K层拉普拉斯金字塔分解，得到K个拉普拉斯金字塔分量图像LP1(i,j,n)、LP2(i,j,n)、……、LPK(i,j,n)和1个高斯金字塔分量图像GAK(i,j,n)；原始图像X(i,j,n)和其分解后的金字塔分量图像具有关系是：
[0013] X(i,j,n)＝LP1(i,j,n)+LP2(i,j,n)+LP3(i,j,n)+...+LPK(i,j,n)+GAK(i,j,n)；
[0014] 其中，i,j为像元坐标，n为帧计数，i＝1,2,...M；j＝1,2,...N；
[0015] 2)分别计算分解后各金字塔分量图像LP1(i,j,n)、LP2(i,j,n)、……、LPK(i,j,n)和GAK(i,j,n)中的列均值μX(j,n)和列方差σX(j,n)；
[0016] μX(j,n)＝∑iLPX(i,j,n)/M；
[0017]
[0018] 其中，LPX的取值分别为LP1、LP2、……、LPK和GAK；
[0019] 3)判断原始图像中相邻两帧图像之间是否发生全局运动；设相邻两帧图像分别为X(i,j,n-1)和X(i,j,n)；
[0020] 3.1)对相邻帧图像的高斯金字塔分量GAK(i,j,n-1)和GAK(i,j,n)分别进行边缘检测，设边缘检测的结果分别为E(i,j,n-1)和E(i,j,n)；若点(i,j)为边缘点，则令E(i,j,n)＝1，否则令E(i,j,n)＝0；
[0021] 3.2)通过边缘检测结果分别计算出E(i,j,n-1)和E(i,j,n)中的边缘点的数目p(n-1)和p(n)，并统计出E(i,j,n-1)和E(i,j,n)中位置重合的边缘点的数目pp；
[0022] 3.3)若p(n-1)、p(n)和pp之间满足 其中，δ的取值范围为0.96～0.98；
[0023] 则认为相邻帧图像X(i,j,n-1)和X(i,j,n)之间没有发生全局运动，否则认为相邻帧图像X(i,j,n-1)和X(i,j,n)之间发生了全局运动；
[0024] 4)当相邻帧图像X(i,j,n-1)和X(i,j,n)之间发生了全局运动，需计算当前帧图像LP1(i,j,n)、LP2(i,j,n)、……、LPK(i,j,n)和GAK(i,j,n)的列均值μX(j,n)和列方差σX(j,n)；具体关系式是：
[0025]
[0026] 其中，T为固定的时间常数，T＝33，X分别取值LP1、LP2、……、LPK和GAK；
[0027] 若相邻帧图像X(i,j,n-1)和X(i,j,n)之间没有发生全局运动，则当前帧图像LP1(i,j,n)、LP2(i,j,n)、……、LPK(i,j,n)和GAK(i,j,n)的列均值和列方差沿用上一帧的列均值和列方差，具体关系式是：
[0028]
[0029] 其中，X分别取值LP1、LP2、……、LPK和GAK；
[0030] 5)分别对各金字塔分量图像LP1(i,j,n)、LP2(i,j,n)、……、LPK(i,j,n)和GAK(i,j,n)进行非均匀性校正，具体关系式是：
[0031]
[0032] 其中，X(i,j,n)分别取值LP1(i,j,n)、LP2(i,j,n)、……、LPK(i,j,n)和GAK(i,j,n)。μX(r,n)和σX(r,n)分别为各金字塔分量的均值和方差，X分别取值LP1、LP2、……、LPK和GAK；
[0033] 6)利用校正后的各金字塔分量YX(i,j,n)重构得到最终的去除了条纹噪声的图像Y(i,j,n)，具体关系式是：
[0034] Y(i,j,n)＝∑YX(i,j,n)＝YLP1(i,j,n)+YLP2(i,j,n)+...+YLPK(i,j,n)+YGAK(i,j,n)。
[0035] 上述步骤1)中的K的取值范围为3～5。
[0036] 本发明的优点在于：
[0037] 1、本发明提出的方法与目前基于单帧处理的矩匹配方法相比，本发明充分利用了多尺度分析(即图像多层次分解)的优点，并结合了时域递归技术，使得校正后的图像不会出现畸变，校正性能稳定可靠。
[0038] 2、本发明提出的方法与目前的时域高通滤波、恒定统计、神经网络等方法相比，本发明提出的方法具有计算量小，易于在软硬件平台中实时实现的优点。
[0039] 3、本发明提出的方法中包含了对原始图像序列中每帧图像是否发生运动进行了判断，根据不同的运动状态采取了不同的校正系数更新策略，克服了常规自适应非均匀较正算法经常会出现的伪像(鬼影)问题，具有更高的校正精度。
附图说明
[0040] 图1为本发明方法的流程图；
[0041] 图2为室温下采集的未校正的红外场景图像；
[0042] 图3为图2场景经本发明提出的方法校正后的图像；
具体实施方式
[0043] 本发明是基于多尺度时域矩匹配非均匀性校正方法。下文将结合附图1和具体实施例子，进一步阐明本发明，同时这些实施例子仅用于说明本发明而不用于限制本发明的范围。
[0044] 使用非制冷凝视型红外焦平面阵列UL03262研制了一台红外相机，分辨率为384x288，工作帧频为50Hz，图像数据位为8位。假设用其采集的红外图像序列为X(i,j,n)，(i,j)为像元坐标，n为帧计数，下文将对其采集的红外图像进行条纹噪声去除，具体方法阐述如下：
[0045] 步骤1)将采集的红外原始图像序列X(i,j,n)进行拉普拉斯金字塔分解。具体的分解层次与场景信息密切相关，根据实际的处理经验，采用3～5层分解是较优的选择，更高的分解层次对于最终的去条带噪声效果并没有明显的促进。不失一般性，本发明选择3层分解作为实施例子。原始图像序列X(i,j,n)经3层拉普拉斯金字塔分解后得到3个拉普拉斯金字塔分量图像LP1(i,j,n)、LP2(i,j,n)、LP3(i,j,n)和1个高斯金字塔分量图像GA3(i,j,n)。原始图像序列X(i,j,n)和其分解后的金字塔分量图像具有可逆的重构关系，如下式所示：
[0046] X(i,j,n)＝LP1(i,j,n)+LP2(i,j,n)+LP3(i,j,n)+GA3(i,j,n)
[0047] 上式中，i,j为像元坐标，n为帧计数，i＝1,2,...M；j＝1,2,...N；LP1(i,j,n)、LP2(i,j,n)和LP3(i,j,n)分别为1层、2层和3层拉普拉斯金字塔分量图像，GA3(i,j,n)为3层高斯金字塔分量图像。
[0048] 步骤2)分别计算4个金字塔分量图像LP1(i,j,n)、LP2(i,j,n)、LP3(i,j,n)和GA3(i,j,n)中的列均值μX(j,n)和列方差σX(j,n)；
[0049] 具体计算式如下：
[0050] μX(j,n)＝∑iLPX(i,j,n)/M；
[0051]
[0052] 其中j为列计数，n为帧计数，X分别取值LP1、LP2、LP3和GA3。
[0053] 步骤3)判断原始图像序列中相邻两帧图像之间是否发生全局运动；具体执行步骤是：
[0054] 步骤3.1)对相邻帧图像的高斯金字塔分量GA3(i,j,n-1)和GA3(i,j,n)分别进行边缘检测，具体的边缘检测算子可以为Sobel算子、Prewitt算子、Canny算子，或其它算子；设边缘检测的结果分别为E(i,j,n-1)和E(i,j,n)，
[0055] 步骤3.2)分别计算出E(i,j,n-1)和E(i,j,n)中的边缘点的数目p(n-1)和p(n)，并计算出E(i,j,n-1)和E(i,j,n)中位置重合的边缘点的数目为pp；
[0056] 其中，p(n)＝∑i,jE(i,j,n)
[0057] 步骤3.3)若p(n-1)、p(n)和pp之间满足下式：
[0058]
[0059] 则认为，相邻帧图像X(i,j,n-1)和X(i,j,n)之间没有发生全局运动，反之则认为相邻帧图像X(i,j,n-1)和X(i,j,n)之间发生了全局运动；上式中δ为经验值，经多次试验发现，其合理的取值范围为0.96～0.98之间。
[0060] 步骤4)当相邻帧图像X(i,j,n-1)和X(i,j,n)之间发生了全局运动，需对当前帧图像LP1(i,j,n)、LP2(i,j,n)、LP3(i,j,n)和GA3(i,j,n)的列均值μX(j,n)和列方差σX(j,n)进行修正；具体修正关系式是：
[0061]
[0062] 其中，T为固定的时间常数，T＝33，X分别取值为LP1、LP2、LP3和GA3；
[0063] 当相邻帧图像X(i,j,n-1)和X(i,j,n)之间没有发生全局运动，则当前帧图像LP1(i,j,n)、LP2(i,j,n)、LP3(i,j,n)和GA3(i,j,n)的列均值和列方差沿用上一帧的列均值和列方差，如下式所示：
[0064]
[0065] X分别取值LP1、LP2、LP3和GA3；
[0066] 步骤5)分别对各金字塔分量图像LP1(i,j,n)、LP2(i,j,n)、……、LPK(i,j,n)和GAK(i,j,n)进行非均匀性校正，具体关系式是：
[0067]
[0068] 其中，X(i,j,n)分别取值为LP1(i,j,n)、LP2(i,j,n)、LP3(i,j,n)和GA3(i,j,n)，μX(r,n)和σX(r,n)分别为各金字塔分量的均值和方差，X分别取值LP1、LP2、LP3和GA3。
[0069] 步骤6)对校正后的各金字塔分量图像YX(i,j,n)进行重构，得到最终的去除了条纹噪声的图像Y(i,j,n)，如下式所示：
[0070] Y(i,j,n)＝∑YX(i,j,n)＝YLP1(i,j,n)+YLP2(i,j,n)+YLP3(i,j,n)+YGA3(i,j,n)[0071] 为了进一步定量地考察校正前后非均匀性的改善，用常规的非均匀性度量公式进行衡量。对于红外场景图像I，校正效果的优劣常用图像的粗糙度ρ来进行表征，其公式如下式所示，其中h1＝[1,-1]，h2＝[1,-1]T，|| ||1表示一范数，*表示卷积。
[0072]
[0073] 图2为用UL03262在室温下采集的未校正的红外场景图像。由图可见，该红外图像的固定图案噪声主要表现为条带噪声，影响了成像质量。图3为图2场景经本发明提出的方法校正后的图像，由图可见，条带噪声得到了有效地去除。校正前图像的粗糙度ρ为0.2347，校正后图像的粗糙度ρ为0.1021，这进一步证明了本发明在去除非制冷红外焦平面阵列条带噪声方面的有效性和实用性。
