基于FPGA的实时固定模式噪声去除方法、装置、介质及系统

摘要

本发明提供一种基于FPGA的实时固定模式噪声去除方法、装置、介质及系统。所述方法包括：步骤1.从传感器获取视频图像f(x,y)，并对获取的视频图像进行二维离散傅里叶变换，得到频谱图像F(u,v)；步骤2.对频谱图像F(u,v)中搜寻特殊频点；步骤3.对特殊频点进行点值替换，生成新的傅里叶频谱图像F1(u,v)；步骤4.新生成的傅里叶频谱图像F1(u,v)进行二维离散傅里叶逆变换，得到去除固定模式噪声的图像f1(x,y)。本发明消除了由于EB‑CMOS图像传感器输出的列与列之间差异所产生的条纹状固定模式噪声，采用带有傅里叶IP核的FPGA来完成上述运算，能够实时完成运算，具有有益的技术效果。

权利要求

1.一种基于FPGA的实时固定模式噪声去除方法，其特征在于，包括如下步骤：步骤1.从传感器获取视频图像f(x,y)，并对获取的视频图像进行二维离散傅里叶变换，得到频谱图像F(u,v)；

步骤2.对二维离散傅里叶变换后得到的频谱图像F(u,v)中搜寻特殊频点，具体为：对二维离散傅里叶变换后得到的频谱图像F(u,v)，在事先设定好的中心位置掩膜中采用混合高斯模型搜寻特殊频点，其为一系列(u,v)值，记为{a1,a2,a3,…}，其中所述特殊频点为幅值较大且随时间变化较小的一系列(u,v)值，所述幅值较大指所述频谱图像F(u,v)的幅度大于设定的经验阈值T，所述变化较小指所述频谱图像F(u,v)满足混合高斯模型方法的判据公式；

步骤3.对频谱图像F(u,v)中的特殊频点进行点值替换，生成新的傅里叶频谱图像F1(u,v)，具体为：依照步骤2搜寻获得的一系列(u,v)值，在原二维离散傅里叶变换后获得的频谱图像中将一系列(u,v)值对应的值替换为0，生成新的傅里叶频谱图像F1(u,v)：其中，F1(u,v)为新生成的傅里叶频谱图像，F(u,v)为进行二维离散傅里叶变换后得到的频谱图像；

步骤4.对步骤3中新生成的傅里叶频谱图像F1(u,v)进行二维离散傅里叶逆变换，得到去除固定模式噪声的图像f1(x,y)。

2.根据权利要求1所述的实时固定模式噪声去除方法，其特征在于：步骤1中，所述二维离散傅里叶变换的公式为：

其中，F(u,v)为进行二维离散傅里叶变换后得到的频谱图像，f(x,y)为获取的视频图像，M为视频图像的宽度，N为视频图像的高度。

3.根据权利要求1所述的实时固定模式噪声去除方法，其特征在于：步骤4中，二维离散傅里叶逆变换的公式为：

其中，f1(x,y)为去除固定模式噪声的图像，F1(u,v)为新生成的傅里叶频谱图像，M为视频图像的宽度，N为视频图像的高度。

4.根据权利要求1所述的实时固定模式噪声去除方法，其特征在于：所述步骤2中混合高斯模型方法的判据公式为：

其中，Ft+1(u,v)表示第t+1帧频谱图像F(u,v)，μi,t表示根据第t帧频谱图像F(u,v)更新的第i个高斯模型期望值，Db取经验值3，σi,t表示根据第t帧频谱图像F(u,v)更新的第i个高斯模型方差值。

5.一种用于权利要求1‑4中任一项所述的实时固定模式噪声去除方法的实时固定模式噪声去除装置，其特征在于，包括：二维离散傅里叶变换模块，用于从传感器获取视频图像f(x,y)并进行二维离散傅里叶变换，得到频谱图像F(u,v)；

特殊频点搜索模块，用于对二维傅里叶变换后的频谱图像中进行特殊频点搜索，得到一系列频点值；

点值替换模块，用于对频谱图像中的特殊频点进行点值替换，生成新的傅里叶频谱图像F1(u,v)；

二维离散傅里叶逆变换模块，用于对新生成的傅里叶频谱图像进行二维离散傅里叶逆变换，得到去除固定模式噪声的图像f1(x,y)。

6.一种基于FPGA的实时固定模式噪声去除装置，其特征在于，包括：处理器；

存储器，用于存储处理器可执行指令；

其中，所述处理器被配置为执行所述指令时实现权利要求1‑4中任一项所述的实时固定模式噪声去除方法。

7.一种非易失性计算机可读存储介质，其上存储有计算机程序指令，其特征在于，所述计算机程序指令被处理器执行时实现权利要求1‑4中任一项所述的实时固定模式噪声去除方法。

8.一种基于FPGA的实时固定模式噪声去除系统，包括EB‑CMOS传感器、FPGA芯片和DDR存储器，其特征在于，在FPGA芯片上执行如权利要求1‑4中任一项所述的实时固定模式噪声去除方法，并且执行过程中生成的中间数据存储在DDR存储器中。

说明书

基于FPGA的实时固定模式噪声去除方法、装置、介质及系统

技术领域

[0001] 本发明涉及实时图像处理技术领域，尤其涉及基于FPGA的实时固定模式噪声去除方法、装置、介质及系统。

背景技术

[0002] EB‑CMOS传感器(Electron  Bombarded  Complementary  Metal Oxide Semiconductor)是像增强器中在电子透镜的焦平面位置加入CMOS成像器件，使阴极上发射出来的电子直接从背面入射到CMOS器件上进行成像。该器件具有极好的微光性能，能够在10‑6lx的极低照度下进行成像，EB‑CMOS传感器具有高增益、低噪声和高分辨率，可以在很低的照度状态下工作，甚至可以记录单个光子，量子效率高达90%。其结构如图1所示。

[0003] EB‑CMOS传感器由于CMOS传感器中的列缓冲(Column Buffer)的工作性质，引入了大量的固定模式噪声(FPN，Fixed Pattern Noise)，该模式噪声如图2所示为固定的竖条纹状(或者横条纹状)。这是由于CMOS图像传感器是基于列的CMOS图像传感器，在基于列的CMOS图像传感器中，虽然像素被均匀地暴露于光，但是由于列的输出系统的处理属性的变动，对于不同的列，像素的输出是不均匀的。因此，基于列的CMOS图像传感器表现出垂直条纹固定模式噪声，从而降低了图像的质量。现有的去除固定模式噪声的方法（比如现有技术CN101277386A），通常是通过从图像传感器的输出信号中减去与偏移分量相对应的校正信号以及光强度相关分量来去除垂直条纹固定模式噪声。然而实现上述方法的电路结构比较复杂。另外，现有的光电传感器后端的处理器通常采用DSP或ARM处理器，完成上述这么大数据量的运算速度较慢，处理速度不够实时，期待在不损失实时处理速度的情况下提高校正固定模式噪声的能力的新技术。

发明内容

[0004] 为解决上述技术问题，本发明提供一种实时固定模式噪声去除方法、装置、介质及系统，尤其用于EB‑CMOS图像传感器的条纹状固定图像噪声实时消除，可以消除由于EB‑CMOS图像传感器输出的列与列之间差异所产生的条纹状固定模式噪声。另外，采用带有傅里叶IP核的FPGA来完成上述运算，能够实时完成上述运算。

[0005] 依据本发明的一个方面，本发明实施例提供了一种基于FPGA的实时固定模式噪声去除方法，包括如下步骤：

[0006] 一种基于FPGA的实时固定模式噪声去除方法，包括如下步骤：

[0007] 步骤1.从传感器获取视频图像f(x,y)，并对获取的视频图像进行二维离散傅里叶变换，得到频谱图像F(u,v)；

[0008] 步骤2.对二维离散傅里叶变换后得到的频谱图像F(u,v)中搜寻特殊频点；

[0009] 步骤3.对频谱图像中的特殊频点进行点值替换，生成新的傅里叶频谱图像F1(u,v)；

[0010] 步骤4.对步骤3中新生成的傅里叶频谱图像F1(u,v)进行二维离散傅里叶逆变换，得到去除固定模式噪声的图像f1(x,y)。

[0011] 在一种可能的实施方式中，步骤1中，所述二维离散傅里叶变换的公式为：

[0012]

[0013] 其中，F(u,v)为进行二维离散傅里叶变换后得到的频谱图像，f(x,y)为获取的视频图像，M为视频图像的宽度，N为视频图像的高度。

[0014] 在一种可能的实施方式中，步骤2中，对二维离散傅里叶变换后得到的频谱图像F(u,v)中搜寻特殊频点具体为：对二维离散傅里叶变换后得到的频谱图像，在事先设定好的中心位置掩膜中采用混合高斯模型搜寻特殊频点，其为一系列(u,v)值，记为{a1,a2,a3,…}。

[0015] 在一种可能的实施方式中，步骤3对频谱图像中的特殊频点进行点值替换具体为：依照步骤2搜寻获得的一系列(u,v)值，在原二维离散傅里叶变换后获得的频谱图像中将一系列(u,v)值对应的值替换为0，生成新的傅里叶频谱图像F1(u,v)：

[0016]

[0017] 其中，F1(u,v)为新生成的傅里叶频谱图像，F(u,v)为进行二维离散傅里叶变换后得到的频谱图像。

[0018] 在一种可能的实施方式中，步骤4中，二维离散傅里叶逆变换的公式为：

[0019]

[0020] 其中，f1(x,y)为去除固定模式噪声的图像，F1(u,v)为新生成的傅里叶频谱图像，M为视频图像的宽度，N为视频图像的高度。

[0021] 在一种可能的实施方式中，所述步骤2中特殊频点为幅值较大且随时间变化较小的一系列(u,v)值，所述幅值较大指所述频谱图像的幅度大于设定的经验阈值T，所述变化较小指所述频谱图像满足混合高斯模型方法的判据公式；所述混合高斯模型方法的判据公式为：

[0022]

[0023] 其中，Ft+1(u,v)表示第t+1帧频谱图像F(u,v)，μi,t表示根据第t帧频谱图像更新的第i个高斯模型期望值，Db取经验值3，σi,t表示根据第t帧频谱图像更新的第i个高斯模型方差值。

[0024] 依据本发明的另一方面，本发明实施例还提供了一种基于FPGA的实时固定模式噪声去除装置，包括：

[0025] 二维离散傅里叶变换模块，用于从传感器获取视频图像f(x,y)并进行二维离散傅里叶变换，得到频谱图像F(u,v)；

[0026] 特殊频点搜索模块，用于对二维傅里叶变换后的频谱图像中进行特殊频点搜索，得到一系列频点值；

[0027] 点值替换模块，用于对频谱图像中的特殊频点进行点值替换，生成新的傅里叶频谱图像F1(u,v)；

[0028] 二维离散傅里叶逆变换模块，用于对新生成的傅里叶频谱图像进行二维离散傅里叶逆变换，得到去除固定模式噪声的图像f1(x,y)。

[0029] 依据本发明的又一方面，本发明实施例还提供了一种基于FPGA的实时固定模式噪声去除装置，包括：

[0030] 处理器；

[0031] 存储器，用于存储处理器可执行指令；

[0032] 其中，所述处理器被配置为执行所述指令时实现前述的实时固定模式噪声去除方法。

[0033] 依据本发明的又一方面，本发明实施例还提供了一种非易失性计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现前述的实时固定模式噪声去除方法。

[0034] 依据本发明的再一方面，本发明实施例还提供了一种基于FPGA的实时固定模式噪声去除系统，包括EB‑CMOS传感器、FPGA芯片和DDR存储器，在FPGA芯片上执行前述的实时固定模式噪声去除方法，并且执行过程中生成的中间数据存储在DDR存储器中。

[0035] 本发明与现有技术相比，其有益效果在于：本发明提供一种基于FPGA的实时固定模式噪声去除方法、装置、介质及系统，尤其用于EB‑CMOS图像传感器，电路结构简单，在一个FPGA芯片上就能实现，同时，根据本发明算法需要进行傅里叶变换的特点，采用带有傅里叶IP核的FPGA来完成上述运算，利用FPGA强大的数据处理能力，能够实时完成上述运算，实时消除了由于EB‑CMOS图像传感器输出的列与列之间差异所产生的条纹状固定模式噪声，具有有益的技术效果。

附图说明

[0036] 为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。

[0037] 本说明书所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容涵盖的范围内。

[0038] 图1为EB‑CMOS传感器的结构；

[0039] 图2为EB‑CMOS传感器固定模式噪声图像；

[0040] 图3为纵向的变化经过傅里叶变化后频谱体现在横轴方向的示意图；

[0041] 图4为EB‑CMOS图像经过离散傅里叶变换后中心化的傅里叶频谱图；

[0042] 图5为对傅里叶变换后的傅里叶谱图特征点搜索掩膜示意图；

[0043] 图6为对傅里叶变换后的傅里叶谱图特征点搜索后生成掩膜示意图；

[0044] 图7为EB‑CMOS传感器消除固定模式噪声后图像；

[0045] 图8为基于FPGA的EB‑CMOS实时固定模式噪声去除方法流程图；

[0046] 图9为一种EB‑CMOS传感器实时固定模式噪声去除装置的结构示意图；

[0047] 图10为又一种EB‑CMOS传感器实时固定模式噪声去除装置的结构示意图。

具体实施方式

[0048] 为使本发明实施例的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明做进一步详细说明。在此，本发明的示意性实施例及其说明用于解释本发明，但并不作为对本发明的限定。

[0049] 在本发明的描述中，需要理解的是，术语“包括/包含”、“由……组成”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的产品、设备、过程或方法不仅包括那些要素，而且需要时还可以包括没有明确列出的其他要素，或者是还包括为这种产品、设备、过程或方法所固有的要素。在没有更多限制的情况下，由语句“包括/包含……”、“由……组成”限定的要素，并不排除在包括所述要素的产品、设备、过程或方法中还存在另外的相同要素。

[0050] 本发明提出一种基于FPGA的实时固定模式噪声去除方法和系统，尤其用于EB‑CMOS传感器，所述系统包括EB‑CMOS探测器、FPGA芯片、DDR存储器。

[0051] EB‑CMOS传感器由于CMOS传感器中的列缓冲的差异，工作时引入大量竖条纹状固定模式噪声，Vout(x,y)为图像中(x,y)点信号输出，Gaini为该列的增益，Vin(x,y)为该点光信号的输入，Voffset为该点由于光敏单元中晶体管性能的不均匀导致的偏置值。

[0052]

[0053] 列缓冲中的增益不一致导致了竖条纹状固定模式噪声，噪声在EB‑CMOS极低照度情况下由于输入光能量比较低，Gaini增益大的时候更加明显，且该噪声不随场景的变化。由于图像的二维离散傅里叶变换空间域中纵向的周期变化会反应在频谱图中的横轴上如图3所示。

[0054] 对图2所示EB‑CMOS传感器的视频图像进行二维傅里叶变换可以得到如图4所示的傅里叶谱图。其特点是沿横轴方向灰度值较大，反映出原图中有大量沿纵方向的周期变化图案，与原图情况一致。

[0055] 图8示出基于FPGA的EB‑CMOS实时固定模式噪声去除方法流程图。如图8所示，所述基于FPGA的EB‑CMOS实时固定模式噪声去除方法，具体包括如下步骤：

[0056] 一、对从传感器获取的视频图像进行二维离散傅里叶变换。

[0057] 具体地，可以在FPGA上对EB‑CMOS传感器的视频图像进行二维离散傅里叶变换(DFT)；得到频谱图像F(u,v)；二维离散傅里叶变换(DFT)的公式如下述所示：

[0058]

[0059] 其中，F(u,v)为进行二维离散傅里叶变换后得到的频谱图像，f(x,y)为获取的视频图像，M为视频图像的宽度，N为视频图像的高度。

[0060] 二、对二维傅里叶变换后的频谱图像中进行特殊频点搜索，得到一系列频点值。

[0061] 具体地，参见图5、图6，在FPGA上对二维傅里叶变换后频谱图像，在事先设定好的中心位置掩膜中搜索幅值较大且随时间变化较小的一系列(u,v)值，记为{a1,a2,a3,…}；

[0062] 所述幅值较大是指所述频谱图像的幅度大于设定的经验阈值T，所述变化较小是指所述频谱图像满足GMM方法的判据公式。

[0063] 采用的GMM(混合高斯模型)方法将频谱图像F(u,v)中每个像素点采用3个高斯分布进行描述，通过预先输入第t帧频谱图像的前K帧进行逐像素统计建模，得到每个像素点对应的3个高斯分布的期望和方差。在新的一帧频谱图像Ft+1(u,v)输入后，当判据公式成立时该频点变化较小。GMM方法的判据公式为：

[0064]

[0065] 其中，Ft+1(u,v)表示第t+1帧图像F(u,v)，μi,t表示根据第t帧图像更新的第i个高斯模型期望值，Db取经验值3，σi,t表示根据第t帧图像更新的第i个高斯模型方差值。

[0066] 所述高斯模型的更新策略为：当输入像素值Ft+1(u,v)属于该像素对应的某个高斯分布时，根据第t+1帧频谱图像的前K帧对该高斯分布模型的期望和方差进行更新。

[0067] 三、对频谱图像中的特殊频点进行点值替换，生成新的傅里叶频谱图F1(u,v)。

[0068] 具体地，在FPGA上依照步骤2搜寻获得的一系列(u,v)值，在原二维傅里叶变换后频谱图像中将(u,v)中对应的值替换为0；具体的替换方式如下述公式所示：

[0069]

[0070] 其中，F1(u,v)为新生成的傅里叶频谱图像，F(u,v)为进行二维离散傅里叶变换后得到的频谱图像。

[0071] 四、对步骤3中新生成的傅里叶频谱图进行二维离散傅里叶逆变换，即可得到去除固定模式噪声的图像f1(x,y)。

[0072] 具体地，在FPGA上对步骤3中新生成的傅里叶频谱图进行二维离散傅里叶逆变换，即可得到去除固定模式噪声的图像，如图7所示。二维离散傅里叶逆变换的公式如下述所示：

[0073]

[0074] 其中，f1(x,y)为去除固定模式噪声的图像，F1(u,v)为新生成的傅里叶频谱图像，M为视频图像的宽度，N为视频图像的高度。

[0075] 上述各方法步骤中生成的中间数据都存储在DDR存储器中。

[0076] 通过对比附图2和附图7明显可以看出，附图2所示的原图上的竖条纹噪声，采用本发明的实时去除固定模式噪声方法进行处理后，在附图7中所示的处理后得到的图像中，竖条纹噪声明显消失了。

[0077] 本发明实施例二还提供了一种基于FPGA的EB‑CMOS传感器实时固定模式噪声去除装置，如图9所示，该装置包括二维离散傅里叶变换模块、特殊频点搜索模块、点值替换模块和维离散傅里叶逆变换模块，其中，

[0078] 二维离散傅里叶变换模块，用于从传感器获取视频图像并进行二维离散傅里叶变换，

[0079] 特殊频点搜索模块，用于对二维傅里叶变换后的频谱图像中进行特殊频点搜索，得到一系列频点值；

[0080] 点值替换模块，用于对频谱图像中的特殊频点进行点值替换，生成新的傅里叶频谱图F1(u,v)；

[0081] 二维离散傅里叶逆变换模块，用于对新生成的傅里叶频谱图进行二维离散傅里叶逆变换，即可得到去除固定模式噪声的图像f1(x,y)。

[0082] 虽然在功能性模块的背景下描述了本发明，但应当理解的是，除非另有相反说明，的功能和/或特征中的一个或多个可以被集成在单个物理装置和/或软件模块中，或者一个或多个功能和/或特征可以在单独的物理装置或软件模块中被实现。还可以理解的是，有关每个模块的实际实现的详细讨论对于理解本发明是不必要的。更确切地说，考虑到在本文中公开的装置中各种功能模块的属性、功能和内部关系的情况下，在工程师的常规技术内将会了解该模块的实际实现。

[0083] 本发明实施例三提供了一种基于FPGA的EB‑CMOS传感器实时固定模式噪声去除系统，包括EB‑CMOS传感器、FPGA芯片以及DDR存储器，在FPGA芯片上执行所述的实时固定模式噪声去除方法。

[0084] 本发明实施例四提供了一种基于FPGA的EB‑CMOS传感器实时固定模式噪声去除装置，如图10所示，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为执行所述指令时实现所述的实时固定模式噪声去除方法。

[0085] 处理器可以是中央处理器(CPU，Central Processing Unit)，还可以是其他通用处理器、数字信号处理器(digital signal processor)、专用集成电路(Application Specific Integrated Circuit)、现成可编程门阵列(Fieldprogrammablegate array)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

[0086] 存储器可用于存储所述计算机程序和/或模块，处理器通过运行或执行存储在所述存储器内的数据，实现发明中模型构建装置的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等。此外，存储器可以包括高速随机存取存储器、还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡，安全数字卡，闪存卡、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

[0087] 上述方法实施例中的内容均适用于本装置实施例中，本装置实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。

[0088] 本发明的实施例五提供了一种非易失性计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现上述实时固定模式噪声去除方法。

[0089] 方法的实现如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序可存储于一计算机可读存介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码、对象代码形式、可执行文件或某些中间形式等。所述计算机可读取介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器、随机存储器、点载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减。

[0090] 以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本领域技术人员可以在本发明技术构思的启发和不脱离本发明内容的基础上对本发明作出各种变形和修改，这些变形或修改仍落入本发明的保护范围之内。