用于处理红外图像数据的系统和装置

摘要

本发明的一个或多个实施例提供了用于处理红外图像数据的系统和方法。所述方法包括：从红外检测器接收基于非均匀场景的红外图像数据，其中所述红外图像数据包括在多个行和列中布置的像素；对于每一列的至少一部分中的每个像素，确定该像素与包含该像素的邻域中的多个其他像素之间的差；对于每一列的所述部分中的每个像素，基于该像素与其他像素之间的差的至少一个子集来确定平均差；对于每一列，至少基于针对该列中的像素确定的平均差来确定对应的列校正项；和将所述列校正项应用于红外图像数据，以提供具有减小的空间噪声的、校正的红外图像数据。

权利要求

1. 一种用于处理红外图像数据的方法，该方法包括： 从红外检测器接收基于非均匀场景的红外图像数据，其中所述红外图像数据包括在多 个行和列中布置的像素； 对于每一列的至少一部分中的每个像素，确定该像素与包含该像素的邻域中的多个其 他像素之间的差； 对于每一列的所述部分中的每个像素，基于该像素与其他像素之间的差的至少一个子 集来确定平均差； 对于每一列，至少基于针对该列中的像素确定的平均差来确定对应的列校正项;和 将所述列校正项应用于红外图像数据，以提供具有减小的空间噪声的、校正的红外图 像数据。

2. 根据权利要求1的方法，其中确定平均差包括使用递归滤波器来估计所述像素和其 他像素之间的差。

3. 根据权利要求1的方法，其中所述列校正项是当前的列校正项，所述方法还包括在确 定当前列校正项之前将先前确定的列校正项应用于图像数据。

4. 根据权利要求1的方法，还包括在确定所述列校正项之前高通滤波红外图像数据。

5. 根据权利要求1的方法，其中所述邻域是所述行之一的子集。

6. 根据权利要求1的方法，其中所述邻域是所述列的子集。

7. 根据权利要求1的方法，其中所述子集包括比阈值小的任何差，该方法还包括忽略超 过该阈值的任何差。

8. 根据权利要求1的方法，还包括： 对于每一行的至少一部分中的每个像素，确定该行中的该像素与包含该行中的该像素 的另一邻域中的多个其他像素之间的差； 对于每一行，基于该行中的像素的差的至少一个子集来确定对应的行校正项;和 将所述行校正项应用于红外图像数据，以提供具有进一步减小的空间噪声的、校正的 红外图像数据。

9. 一种用于处理红外图像数据的装置，该装置包括： 接收模块，配置为从红外检测器接收基于非均匀场景的红外图像数据，其中所述红外 图像数据包括在多个行和列中布置的像素； 像素差确定模块，配置为对于每一列的至少一部分中的每个像素，确定该像素与包含 该像素的邻域中的多个其他像素之间的差； 平均差确定模块，配置为对于每一列的所述部分中的每个像素，基于该像素与其他像 素之间的差的至少一个子集来确定平均差； 列校正项确定模块，配置为对于每一列，至少基于针对该列中的像素确定的平均差来 确定对应的列校正项;和 列校正项应用模块，配置为将所述列校正项应用于红外图像数据，以提供具有减小的 空间噪声的、校正的红外图像数据。

10. -种系统，包括： 存储器组件，配置为接收基于非均匀场景的红外图像数据，其中所述红外图像数据包 括在多个行和列中布置的像素；以及 处理器，适配为执行指令以： 对于每一列的至少一部分中的每个像素，确定该像素与包含该像素的邻域中的多个其 他像素之间的差； 对于每一列的所述部分中的每个像素，基于该像素与其他像素之间的差的至少一个子 集来确定平均差； 对于每一列，至少基于针对该列中的像素确定的平均差来确定对应的列校正项;和 将所述列校正项应用于红外图像数据，以提供具有减小的空间噪声的、校正的红外图 像数据。

11. 根据权利要求10的系统，还包括红外检测器，适配为提供红外图像数据。

12. 根据权利要求10的系统，其中所述处理器被适配为执行指令以使用递归滤波器来 估计所述像素和其他像素之间的差，以确定平均差。

13. 根据权利要求10的系统，其中 所述列校正项是当前的列校正项;并且 所述处理器被适配为执行指令以在确定当前列校正项之前将先前确定的列校正项应 用于图像数据。

14. 根据权利要求10的系统，其中所述处理器被适配为在确定所述列校正项之前高通 滤波红外图像数据。

15. 根据权利要求10的系统，其中所述邻域是所述行之一的子集。

16. 根据权利要求10的系统，其中所述邻域是所述列的子集。

17. 根据权利要求10的系统，其中 所述子集包括比阈值小的任何差;并且 所述处理器被适配为执行指令以忽略超过该阈值的任何差。

18. 根据权利要求10的系统，其中所述处理器被适配为执行指令以： 对于每一行的至少一部分中的每个像素，确定该行中的该像素与包含该行中的该像素 的另一邻域中的多个其他像素之间的差； 对于每一行，基于该行中的像素的差的至少一个子集来确定对应的行校正项;和 将所述行校正项应用于红外图像数据，以提供具有进一步减小的空间噪声的、校正的 红外图像数据。

说明书

用于处理红外图像数据的系统和装置

[0001 ] 本申请是申请日为2010年2月26日、申请号为201080018803.X(国际申请号为PCT/ US2010/025671)、发明名称为"用于处理红外图像的系统和装置"的发明专利申请的分案申 请。

技术领域

[0002] 本发明一般设及红外图像，并且更具体地设及诸如利用噪声滤波技术对红外图像 数据进行的图像处理。

背景技术

[0003] 由红外成像器(诸如基于微福射热测定仪的红外成像器)生成的图像通常包括噪 声。例如，噪声的主要源可能是由于时间、1处、和/或固定空间噪声造成的，并且典型的红外 成像系统可包括校准算法W尽力使运些类型的噪声最小化。

[0004] 作为示例，红外成像系统一般使用内部快口，其使得红外成像系统针对(against) 均匀(uniform)目标获取图像W执行校准过程。然而，存在与运类过程相关联的一些缺点。 例如，快口的需要增加了红外成像系统的制造成本。此外，校准过程不校正除了快口之外的 噪声源(例如，由于光学路径内的镜头或其他组件所导致的）。此外，场景溫度可能不同于快 口的溫度，并且对福射的检测器元件响应可能不是完全线性的。运样，W快口溫度进行的校 正可能不适合于红外成像系统正在成像的具体场景。而且，在使用快口的偏移校准期间，红 外成像系统可能不能如用户所期望的那样捕获场景的图像。

[0005] 人类观察者对于红外成像器中典型的高频空间噪声非常敏感。低通滤波器可用于 减少噪声，但是运使图像模糊、并且降低了系统性能。

[0006] 结果，需要针对红外成像和处理红外图像的改进技术，其可在不依赖快口或者需 要均匀场景的情况下减少空间、时间和/或1/f类型噪声，并且可不引入模糊或者引入最小 模糊。

发明内容

[0007] 根据一个或多个实施例的在运里公开的系统和方法提供了用于处理由红外传感 器(例如红外相机)捕获的图像的技术，W便诸如提高图像质量。例如，根据实施例，公开图 像处理算法，W将红外图像分离为列和行部分或区段(portion),其可被分开地处理W减少 噪声并提供改进的红外图像。[000引根据一个或多个实施例，用于处理红外图像数据的系统和方法包括:从非均匀场 景接收红外图像数据;将所述红外图像数据分离为列噪声滤波区段和行噪声滤波区段;确 定列噪声偏移项;基于列噪声偏移项来应用列噪声滤波校正到红外图像数据;确定行噪声 偏移项;基于行噪声偏移项来应用行噪声滤波校正到红外图像数据;基于列和行噪声滤波 校正提供已校正红外图像数据作为红外输出图像数据；W及存储所述红外输出图像数据。 在一个实现中，相同的列噪声偏移项被应用到列噪声滤波区段的特定列中的每个对应像 素，并且相同的行噪声偏移项被应用到行噪声滤波区段的特定行中的每个对应像素。

[0009] 在各种实现中，所述系统和方法可包括:通过针对每个像素计算中屯、像素与多个 相邻像素之间的差来分开地计算行噪声滤波区段的列相邻者(nei曲bor)差；W及通过针对 每个像素计算中屯、像素与多个相邻像素之间的差来分开地计算列噪声滤波区段的行相邻 者差。所述系统和方法可包括:在分开地计算列和行相邻者差之后执行列和行相邻者差的 直方图；分开地将所述列和行相邻者差与预定阔值进行比较;并且如果所述差低于所述预 定阔值，则将列和行相邻者差添加到相应列和行。在一个方面，所述将列和行相邻者差添加 到相应列和行的步骤包括分别地将列和行相邻者差添加到关于特定列和行的直方图。

[0010] 在各个实现中，所述系统和方法可包括:确定关于相应列和行的中值差(median difference);将所述中值差添加到关于相应列和行的一个或多个先前校正项；W及将所述 校正项应用到红外图像数据。在一个方面，所述红外图像数据包括红外输入视频数据，所述 已校正红外图像数据包括已校正红外视频数据，并且所述红外输出图像数据包括红外输出 视频数据。所述系统和方法可W包括在估计所述列和行噪声滤波校正值之前对红外图像数 据进行高通滤波。在一个方面，对相应行和列进行高通滤波包括减去低通滤波运算的结果。 所述红外图像数据可包括多个帖，其中除第一帖之外，每个帖被分开地校正为具有至少一 个先前帖的当前帖。所述系统和方法可包括将红外图像数据延迟一个帖、并显示红外输出 图像数据。

[0011] 根据实施例，用于处理红外图像数据的方法包括:从多像素红外检测器接收基于 非均匀场景的红外图像数据;识别红外图像数据的列噪声滤波区段;确定用于对应列的列 噪声偏移项;基于列噪声偏移项将列噪声滤波校正应用到红外图像数据，其中所述列噪声 偏移项被应用到列噪声滤波区段的每个对应列中的至少大多数红外图像数据;基于列噪声 滤波校正提供已校正红外图像数据作为红外输出图像数据；W及存储所述红外输出图像数 据。

[0012] 根据实施例，红外成像系统包括:红外检测器(例如，由诸如红外相机的红外成像 装置所使用的）；处理器，适于处理来自红外检测器的、非均匀场景的红外图像数据；W及存 储部件，适于存储所述红外输出图像数据。所述处理器可适于通过如下来处理来自红外检 测器的红外图像数据:从多像素红外检测器接收基于非均匀场景的红外图像数据;识别红 外图像数据的列噪声滤波区段;确定用于对应列的列噪声偏移项;基于所述列噪声偏移项 将列噪声滤波校正应用到红外图像数据，其中所述列噪声偏移项被应用到列噪声滤波区段 的每个对应列中的至少大多数红外图像数据；W及基于列噪声滤波校正提供已校正红外图 像数据作为红外输出图像数据。

[0013] 根据一个或多个实施例，提供了一种用于处理红外图像数据的方法，该方法包括： 从红外检测器接收基于非均匀场景的红外图像数据，其中所述红外图像数据包括在多个行 和列中布置的像素;对于每一列的至少一部分中的每个像素，确定该像素与包含该像素的 邻域中的多个其他像素之间的差;对于每一列的所述部分中的每个像素，基于该像素与其 他像素之间的差的至少一个子集来确定平均差;对于每一列，至少基于针对该列中的像素 确定的平均差来确定对应的列校正项；和将所述列校正项应用于红外图像数据，W提供具 有减小的空间噪声的、校正的红外图像数据。

[0014] 本发明的范围由权利要求所限定，通过参考将权利要求合并在运个部分中。通过 考虑一个或多个实施例的如下详细描述，将向本领域的技术人员提供本发明的实施例的更 完整理解连同其附加优点的实现。将参考所附的图表，首先简要描述所述图表。

附图说明

[0015] 图1示出了根据本发明实施例的用于红外图像处理的系统的框图；

[0016] 图2A至图2C是图示了根据本发明实施例的用于对红外图像进行噪声滤波的方法 的流程图；

[0017] 图3A至图3C是图示了根据本发明实施例的红外图像数据和红外图像的处理的图 表；

[0018] 图4示出了根据本发明实施例的用于论述处理技术的传感器数据的行区段；

[0019] 图5A至图5C示出了根据本发明实施例的用于对红外图像进行列和行噪声滤波的 示范实现。

[0020] 通过参考接下来的详细描述来最好地理解本发明的实施例和它们的优点。应该理 解，相同的附图标记被用于识别在一个或多个图中图示的相同元件。

具体实施方式

[0021] 运里公开的根据一个或多个实施例的系统和方法提供了用于由红外成像系统捕 获的图像的图像处理算法。例如，在一个实施例中，可处理红外图像W减少红外图像内的噪 声（例如，改善图像细节和/或图像质量）。对于一个或多个实施例，可应用处理技术来减少 在红外图像的行和/或列内的噪声。

[0022] 可W将噪声的显著（significant)区段定义为行和列噪声。运类噪声可通过读出 集成电路(ROIC)中的非线性来解释。如果不去除运类噪声，则它可能被显现为最终图像中 的垂直和水平条带，并且人类观察者对运些类型的图像伪影非常敏感。如果存在行和列噪 声，则依赖于来自诸如自动目标跟踪器的红外传感器的影像（image巧）的其他系统还可能 经受性能恶化。

[0023] 由于红外检测器和读出集成电路(ROIC)组合件的非线性行为，即使当执行快口操 作或者外部黑体校准时，也可能有残余的行和列噪声(例如，正在成像的场景可能不具有与 快口确切相同的溫度）。在偏移校准之后，行和列噪声的量可能随时间增加，并渐进地增加 到某个最大值。在一个方面，运可被称为1/f类型噪声。

[0024] 在任何给定的帖中，行和列噪声可被视为高频空间噪声。传统地，可使用空域滤波 器(例如，局部线性或非线性低通滤波器)或频域滤波器(例如，傅立叶或小波空间中的低通 滤波器)来减少运类噪声。然而，运些滤波器可具有负面影响，诸如图像的模糊和微弱细节 的潜在损失。

[0025] 本领域的技术人员应该理解，对列或行的任何引用可包括部分列或部分行，并且 术语"行"和"列"是可交换的并且不是限制性的。运样，在不脱离本发明的范围的情况下，取 决于应用，术语"行"可用于描述行或列，并且同样地，术语"列"可用于描述行或列。

[0026] 图1示出了根据本发明实施例的用于红外图像捕获和处理的系统100(例如红外相 机）的框图。在一个实现中，所述系统100包括处理组件110、存储组件120、图像捕获组件 130、控制组件140和显示组件150。可选地，所述系统可包括感测组件160。

[0027]所述系统100可表示诸如红外相机的红外成像装置，用W捕获和处理诸如场景170 的视频图像之类的图像。所述系统100可表示适于检测红外福射并提供代表性数据和信息 (例如，场景的红外图像数据）的任何类型的红外相机。例如，系统100可表示指向近、中和/ 或远红外谱的红外相机。在另一示例中，红外图像数据可包括场景170的非均匀数据(例如， 不是来自快口或黑体的实际图像数据），W进行处理，如运里所陈述的。系统100可包括便携 式装置，并且可被合并在例如运载工具(例如，机动车或者其他类型的基于地面的车辆、飞 行器或者航天器）、或者需要存储和/或显示红外图像的非移动安装中。[00%]在各实施例中，处理组件110包括诸如一个或多个微处理器、单核处理器、多核处 理器、微控制器的处理器、逻辑装置（例如，被配置为执行处理功能的可编程逻辑装置 (化D))、数字信号处理(DSP)装置等。所述处理组件110可适于与组件120、130、140和150接 口并通信，W执行方法和处理步骤和/或操作，如运里所描述的。处理组件110可包括噪声滤 波模块112,该噪声滤波模块112适于实现噪声减少和/或去除算法(例如，诸如参考图2A到 图2C所论述的噪声滤波算法）。在一个方面，作为噪声滤波算法的一部分或者与其分开地， 所述处理组件110可适于执行包括对红外图像数据进行缩放的各种其他图像处理算法。

[0029] 应该理解，噪声滤波模块112可被集成在软件和/或硬件中而作为处理组件110的 一部分，例如在存储组件120中存储用于噪声滤波模块112的代码(例如，软件或配置数据）。 运里所公开的噪声滤波算法的实施例可由分离的计算机可读介质（例如存储器，诸如硬盘 驱动器、压缩盘、数字视频盘或闪存)来存储，W便由计算机(例如，基于逻辑或处理器的系 统)运行W执行运里公开的各种方法和操作。在一个方面，所述计算机可读介质可W是便携 式的、和/或位于与系统100分开的地方，通过将计算机可读介质禪接到系统100和/或由系 统100从计算机可读介质下载(例如经由有线链路和/或无线链路)噪声滤波算法，来向系统 100提供所存储的噪声滤波算法。

[0030] 在一个实施例中，所述存储组件120包括适于存储数据和信息(包括红外数据和信 息）的一个或多个存储装置。所述存储组件120可包括一个或多个各种类型的存储装置，包 括易失性和非易失性存储装置，诸如RAM(随机存取存储器）、R0M(只读存储器）、EEPR0M(电 可擦除只读存储器）、闪存等。处理组件110可适于执行在存储组件120中存储的软件，W执 行运里描述的方法和处理步骤和/或操作。

[0031] 在一个实施例中，所述图像捕获组件130包括一个或多个红外传感器(例如，任何 类型的多像素红外检测器，诸如焦平面阵列），用于捕获代表图像(诸如场景170)的红外图 像数据(例如，静止图像数据和/或视频数据）。在一个实现中，提供图像捕获组件130的红外 传感器W将捕获的图像数据表示(例如，转换)为数字数据(例如，经由作为系统100-部分 的、作为红外传感器的一部分包括的或者与红外传感器分开地包括的模数转换器）。在一个 方面，所述红外图像数据（例如，红外视频数据)可包括图像(诸如场景170)的非均匀数据 (例如，实际的图像数据）。所述处理组件110可适于处理所述红外图像数据(例如，W便提供 处理后的图像数据）、将所述红外图像数据存储在存储组件120中、和/或从存储组件120中 检索所存储的红外图像数据。例如，处理组件110可适于处理在存储组件120中存储的红外 图像数据，W提供处理后的图像数据和信息（例如，已捕获的和/或处理后的红外图像数 据)。

[0032] 在一个实施例中，控制组件140包括适于生成用户输入控制信号的用户输入和/或 接口装置，诸如可旋转旋钮(例如，电位计）、按压按钮、滑动条、键盘等。所述处理组件110可 适于经由控制组件140感测来自用户的控制输入信号，并且对从其接收的任何所感测的控 制输入信号进行响应。所述处理组件110可适于将运样的控制输入信号解析为值，如本领域 的技术人员所通常理解的。

[0033] 在一个实施例中，控制组件140可包括具有按压按钮的控制单元(例如，有线或无 线手持控制单元），所述按压按钮适于与用户接口，并接收用户输入控制值。在一个实现中， 控制单元的按压按钮可用于控制系统100的各个功能，诸如自动聚焦、菜单使能和选择、视 野、亮度、对比度、噪声滤波、高通滤波、低通滤波、和/或本领域技术人员所理解的各种其他 特征。在另一实现中，一个或多个按压按钮可用于提供用于噪声滤波算法的输入值(例如， 一个或多个噪声滤波值、调整参数、特性等）。例如，一个或多个按压按钮可用于调整由系统 100所捕获和/或处理的红外图像的噪声滤波特性。

[0034] 在一个实施例中，显示组件150包括图像显示装置(例如，液晶显示器化CD))或各 种其他类型的一般已知的视频显示器或监视器。处理组件110可适于在显示组件150上显示 图像数据和信息。处理组件110可适于从存储组件120中检索图像数据和信息，并且在显示 组件150上显示任何所检索的图像数据和信息。显示组件150可包括显示电子仪器，其可由 处理组件110利用W显示图像数据和信息（例如，红外图像）。显示组件150可适于经由处理 组件110直接从图像捕获组件130接收图像数据和信息，或者可经由处理组件110从存储组 件120传输所述图像数据和信息。

[0035] 在一个实施例中，取决于应用或实现需要，可选的感测组件160包括各种类型的一 个或多个传感器，本领域的技术人员将理解此。可选感测组件160的传感器至少向处理组件 110提供数据和/或信息。在一个方面，处理组件110可适于与感测组件160通信（例如，通过 从感测组件160接收传感器信息）、W及与图像捕获组件130通信(例如，通过从图像捕获组 件130接收数据和信息并且向系统100的一个或多个其他组件提供和/或从其接收命令、控 制和/或其他信息）。

[0036] 在各种实现中，感测组件160可提供关于环境条件的信息，诸如外部溫度、光照条 件(例如，白天、夜晚、黄昏和/或黎明）、湿度等级、特定气候条件(例如，晴天、雨天、和/或下 雪）、距离(例如激光测距仪）、和/或已经进入还是退出隧道或其他类型的围绕物。感测组件 160可表示本领域技术人员通常已知的用于监视各种条件(例如，环境条件)的传统传感器， 所述条件可能对图像捕获组件130所提供的数据有影响(例如，对图像外观）。

[0037] 在一些实现中，可选的感测组件160(例如，一个或多个传感器)可包括用于经由有 线和/或无线通信将信息中继到处理组件110的装置。例如，可选的感测组件160可适于通过 如下方式从卫星接收信息：即通过本地广播(例如，射频(RF))传输、通过移动或蜂窝网络 和/或通过基础设施中的信息信标(例如，交通或公路信息信标基础设施）、或各种其他的有 线和/或无线技术。

[0038] 在各个实施例中，可W根据期望或取决于应用或需要来合并、实现或不实现系统 100的组件，其中系统100表示相关系统的各个功能块。在一个示例中，处理组件110可与存 储组件120、图像捕获组件130、显示组件150和/或可选的感测组件160合并。在另一示例中， 处理组件110可W与图像捕获组件130组合，其中仅仅处理组件110的特定功能由图像捕获 组件130内的电路(例如，处理器、微处理器、逻辑装置、微控制器等)来执行。此外，系统100 的各个组件可W彼此远离（例如，图像捕获组件130可包括对于处理组件110等的远程传感 器，处理组件110等表示可W或不可W与图像捕获组件130通信的计算机）。

[0039] 根据本发明的实施例，图2A示出了用于对红外图像进行噪声滤波的方法220。在一 个实现中，运个方法220设及减少和/或去除在诸如图1的红外成像系统100的红外成像装置 中的时间、1/f、和/或固定空间噪声。方法220适于在噪声滤波算法中利用红外图像数据的 基于行和列的噪声分量。在一个方面，所述基于行和列的噪声分量可能在红外传感器的影 像中的噪声中占主导(dominate)(例如，在典型的基于微福射热测定仪的系统中，总噪声的 大约2/3可W是空间的）。

[0040] 在一个实施例中，图2A的方法220包括行和列噪声滤波算法的高级框图。在一个方 面，行和列噪声滤波算法可被最佳化W使用最少的硬件资源。

[0041] 参考图2A，方法220的处理流程实现了递归模式的操作，其中在计算行和列噪声之 前应用先前的校正项，运可允许较低空间频率的校正。在一个方面中，当行和列噪声是空间 相关的时，所述递归方式是有用的。运有时被称作条带化(banding),并且在列噪声情况中 可显现为几个相邻列受相似的偏移误差影响。当在不同计算中使用的几个相邻者经受相似 误差时，用于计算误差的平均差可能歪斜，并且可能仅部分地校正所述误差。通过在计算当 前帖中的误差之前应用部分校正，可W递归地减少误差的校正量，直到误差被最小化或去 除。在所述递归的情况中，如果没有应用HPF(块208)，则当融合到噪声模型中时，作为图像 一部分的自然梯度可能在几次迭代之后失真。在一个方面，自然水平梯度可表现为低空间 相关的列噪声（例如，严重条带化）。在另一方面，HPF可防止非常低的频率场景信息与噪声 估计干扰，并因此限制递归滤波的负面效应。

[0042] 参考图2A的方法220,接收红外图像数据(例如，诸如来自图1的图像捕获组件130 的原始视频源）作为输入视频数据(块200)。接下来，将列校正项应用到输入视频数据(块 201)，并且将行校正项应用到输入视频数据(块202)。接下来，在将列和行校正应用到输入 视频数据之后，提供视频数据(例如，"干净的"视频数据)作为输出视频数据(219)。在一个 方面中，术语"干净的"可W指例如经由噪声滤波算法的一个或多个实施例来从输入视频数 据中去除或减少噪声(块201、202)。

[0043] 参考图2A的处理部分（例如，递归处理），经由数据信号路径219a将HPF应用（块 208)到输出视频数据219。在一个实现中，分开地将经高通滤波的数据提供给列噪声滤波区 段201a和行噪声滤波区段202曰。

[0044] 对于列噪声滤波区段201a，方法220可适于如下处理输入视频数据200和/或输出 视频数据219。

[0045] 1.向当前帖应用在先前帖中计算的先前列噪声校正项(块201)。

[0046] 2.通过减去低通滤波(LPF)运算的结果对当前帖的行进行高通滤波(块208)，例如 如参考图3A至图3C所论述的。

[0047] 3.对于每个像素，计算在中屯、像素与一个或多个(例如，8个)最近的相邻者之间的 差(块214)。在一个实现中，最近的相邻者包括一个或多个最近的水平相邻者。所述最近相 邻者可包括一个或多个垂直或其他的非水平的相邻者(例如，不纯粹水平，即在同一行上）， 而不脱离本发明的范围。

[0048] 4.如果所计算的差低于预定阔值，则将所计算的差添加到关于特定列的差的直方 图上(块209)。

[0049] 5.在当前帖的结束处，通过检查差的累积直方图来找到中值差(块210)。在一个方 面，为了添加后的稳健性，可W仅仅使用具有某一特定最小发生数目的差。

[0050] 6.将当前校正项延迟一个帖(块211)，即将它们应用到下一个帖。

[0051] 7.将中值差添加(块212)到先前的列校正项，W提供更新的列校正项(块213)。

[0052] 8.在下一帖中应用更新的列噪声校正项(块201)。

[0053] 对于行噪声滤波区段202a，方法220可适于如下处理输入视频数据200和/或输出 视频数据219。

[0054] 1.向当前帖应用在先前帖中计算的先前行噪声校正项(块202)。

[0055] 2.通过减去低通滤波(LPF)运算的结果对当前帖的列进行高通滤波(块208)，与上 面针对列噪声滤波区段201a类似地论述的。

[0056] 3.对于每个像素，计算在中屯、像素与一个或多个(例如，8个)最近的相邻者之间的 差(块215)。在一个实现中，最近的相邻者包括一个或多个最近的垂直相邻者。所述最近相 邻者可包括一个或多个水平或其他的非垂直的相邻者(例如，不纯粹垂直，即在同一列上）， 而不脱离本发明的范围。

[0057] 4.如果所计算的差低于预定阔值，则将所计算的差添加到关于特定行的差的直方 图上(块207)。

[0058] 5.在当前行（例如，线）的结束处，通过检查差的累积直方图来找到中值差（块 206)。在一个方面，为了添加后的稳健性，可W仅仅使用具有某一特定最小发生数目的差。

[0059] 6.将当前帖延迟与所使用的最近垂直相邻者的数目（例如8)等价的时间段。

[0060] 7.将中值差添加(块204)到先前帖(块205)的行校正项(块203)。

[0061] 8.在当前帖中应用更新的行噪声校正项(块202)。在一个方面中，运可需要行缓冲 器(例如，如在6中所提及的）。

[0062] 在一个方面中，对于每个列中的所有像素(或至少它们的最大子集），可对于每个 相关联的列应用同样的偏移项(或者项集合）。运可防止滤波器使空间局部细节模糊。

[0063] 类似地，在一个方面中，分别对于每个行中的所有像素(或至少它们的最大子集）， 可应用同样的偏移项(或者项集合）。运可禁止滤波器使空间局部细节模糊。

[0064] 在一个示例中，可仅仅使用行的子集(例如，前32行)来计算列偏移项的估计。在运 个情况中，仅需要32行延迟来在当前帖中应用列校正项。运可提高滤波器在去除高时间频 率列噪声方面的性能。替换地，所述滤波器可被设计为具有最小延迟，并且一旦可W(例如 使用来自所述32行的数据)计算合理的估计，就仅应用校正项。在运个情况中，仅可W最佳 地滤波第33行W及W后的行。

[0065] 在一个方面中，可能不需要所有样本，并且在运样的实例中，例如可W仅每第2行 或第4行用于计算列噪声。在另一方面中，同样可应用在计算行噪声时，并且在运个实例中， 例如可仅使用来自每第4列的数据。应该理解，在不脱离本发明的范围的情况下，本领域的 技术人员可使用各种其他迭代。

[0066] 在一个方面中，滤波器可按照其中对已滤波的数据进行滤波而不是对原始数据进 行滤波的递归模式来操作。在另一方面中，如果使用递归（IIR)滤波器来计算估计的运行平 均值，则W有效的方式来近似在一行中的像素与相邻行中的像素之间的平均差。例如，代替 取相邻者差(例如，8个相邻者差)的平均值，可W计算在像素与相邻者的平均值之间的差。

[0067] 根据本发明的实施例，图2B示出了用于对红外图像数据进行噪声滤波的替换方法 230。参考图2A和图2B，图2A的方法220的一个或多个处理步骤和/或操作已经改变顺序、或 者已经被变更或组合W用于图2B的方法230。例如，计算行和列相邻者差的操作（块214、 215)可被去除，或者与诸如生成行和列相邻者差的直方图（块207、209)的其他操作合并。在 另一示例中，可W在找到中值差(块206)之后执行延迟操作(块205)。在各个示例中，应该理 解，类似的处理步骤和/或操作具有类似的范围，如先前在图2A所描述的，并因此，将不重复 所述描述。

[0068] 在方法220和230的又一替换方式中，实施例可排除直方图，并依赖于平均计算的 差而不是中值计算的差。在一个方面中，运可能稍微地较不稳健，但是可允许列和行噪声滤 波器的更简单实现。例如，可W通过实现为无限脉冲响应(IIR)滤波器的运行平均来分别近 似相邻行和列的平均。在行噪声的情况中，IIR滤波器实现可减少或者甚至消除对用于平均 计算的几行数据进行缓冲的需要。

[0069] 在方法220和230的又一替换方式中，新噪声估计可W在视频数据的每个帖中计 算，并且仅仅应用在下一帖中（例如，在噪声估计之后）。在一个方面中，运个替换方式可能 提供较差的性能，但是可较简单地实现。在另一方面中，运个替换方式可称作非递归方法， 本领域的技术人员将理解运一点。

[0070] 例如，在一个实施例中，图2C的方法240包括行和列噪声滤波算法的高级框图。在 一个方面中，行和列噪声滤波算法可被优化W使用最少的硬件资源。参考图2A和图2B，类似 的处理步骤和/或操作可具有类似的范围，并因此将不重复描述。

[0071] 参考图2C，方法240的处理流程实现了非递归模式的操作。如所示出的，方法240向 来自视频源200的未校正输入视频数据应用列偏移校正项201和行偏移校正项202, W例如 产生校正后的或干净的输出视频信号219。在列噪声滤波区段201a中，基于在特定列中的像 素值与属于相邻列214的一个或多个像素之间的平均差210来计算列偏移校正项213。在行 噪声滤波区段202a中，基于在特定行中的像素值与属于相邻行215的一个或多个像素之间 的平均差206来计算行偏移校正项203。在一个方面中，可任意地考虑其中行或列偏移校正 项203、213被应用到来自视频源200的输入视频数据的顺序(例如，行首先或者列首先）。在 另一方面中，在视频帖的结束之前不可能完全知道行和列校正项，并因此，如果来自视频源 200的输入视频数据没有被延迟，则行和列校正项203、213不可被应用到从其计算它们的输 入视频数据。

[0072] 在本发明的一个方面中，可W对红外成像传感器(例如图1的图像捕获组件130)所 提供的图像数据连续地运算列和行噪声滤波算法。与可能需要均匀场景(例如，如通过快口 或外部校准的黑体所提供的）来估计空间噪声的传统方法不同，如在一个或多个实施例中 陈述的，列和行噪声滤波算法可W对实时场景数据进行运算。在一个方面中，可进行如下的 假设:对于在位置[x，y]附近的一些小邻域(nei曲borhood)，相邻红外传感器元件应该提供 相似的值，因为它们是接近的近程中的场景的成像部件。如果来自特定红外传感器元件的 红外传感器读数不同于邻近者，则运可能是空间噪声的结果。然而，在一些实例中，运可能 对于特定行或列中的每个传感器元件并非准确(例如，由于作为场景的自然部分的局部梯 度所导致的），但是平均地，行或列可具有与相邻行和列的值接近的值。

[0073] 对于一个或多个实施例，通过首先取出一个或多个低空间频率(例如使用高通滤 波器化PF))，可W使场景贡献最小化，W保留与实际行和列空间噪声高度相关的差。在一个 方面中，通过使用边缘保留滤波器，诸如中值滤波器或双边滤波器，由于图像中的强边缘， 一个或多个实施例可使伪影最小化。

[0074] 根据本发明的一个或多个实施例，图3A至图3C图示了对红外图像进行滤波的图表 实现(例如，数字计数(digital count)对数据列）。图3A示出了当对场景进行成像时来自传 感器元件行的典型值(作为示例）的图表图示(例如，图表300)。图3B示出了来自图3A的图像 数据值的低通滤波化PF)的结果的图表图示（例如，图表310)。图3C示出了从图3A的原始图 像数据中减去图3B中的低通滤波器化PF)输出的图表图示（例如，图表320)，其结果是从图 3A中的原始图像数据的场景中去除低频和中频分量的高通滤波器化PF)轮廓。运样，图3A至 图3C图示了HPF技术，其可用于一个或多个实施例(例如，利用方法220和/或230)。

[0075] 在本发明的一个方面中，列和/或行噪声的最终估计可称作所有已测量差的平均 或中值估计。因为红外传感器的噪声特性一般是已知的，所W可W将一个或多个阔值应用 到噪声估计。例如，如果测量60个数字计数的差，但是已知噪声典型地小于10个数字计数， 则可W忽略运个测量。

[0076] 根据本发明的一个或多个实施例，图4示出了传感器数据行401(例如，关于行中的 多个像素的像素数据行）的图表图示400(例如，数字计数对数据列），该传感器数据行401具 有第5列数据402和关于8个最近相邻者的数据(例如，最近的像素相邻者，在第5列数据402 左边的4个列410和在第5列数据402右边的4个列411)。在一个方面，参考图4,所述传感器数 据行401是关于由多像素红外传感器或检测器(例如，图1的图像捕获组件130)捕获的图像 或场景的传感器数据行的一部分。在一个方面中，第5列数据402是要被校正的数据列。对于 该传感器数据行401，用箭头404指出在第5列数据402与它的相邻者列(410、411)的平均403 之间的差。因此，可基于相邻数据来获得并说明噪声估计。

[0077] 根据本发明的一个或多个实施例，图5A至图5C示出了对红外图像(例如，来自红外 视频数据的图像帖)进行列和行噪声滤波的示范实现。图5A示出了红外图像500W及列校正 项的对应图表502,红外图像500具有根据存在严重行和列噪声的场景而估计的列噪声。图 5B示出了列噪声被去除并且仍旧存在空间行噪声的红外图像510、和行校正项的对应图表 512,其中根据图5A中的场景估计行校正项。图5C示出了行和列噪声被去除的(例如，应用了 图5A至图5B的列和行校正项）、作为干净的红外图像的、图5A中的场景的红外图像520。

[0078] 在一个实施例中，图5A示出了具有严重行和列噪声的红外视频帖（即，红外图像 500)。如运里描述地计算列噪声校正系数，W产生例如639个校正项，即每列一个校正项。图 表502示出了列校正项。从图5A的红外视频帖500中减去运些偏移校正项，W产生图5B中的 红外图像510。如图5B中所示出的，仍旧存在行噪声。如运里描述地计算行噪声校正系数，W 产生例如639个行项，即每行一个校正项。图表512示出了行偏移校正项，从图5B中的红外图 像510中减去行偏移校正项，W产生行和列噪声被显著减少或去除的、图5C中的干净的红外 图像520。

[0079] 在各个实施例中，应该理解，不需要行和列滤波二者。例如，在方法220、230或240 中可执行列噪声滤波201a或行噪声滤波202a。

[0080] 应该理解，对列或行的任何引用可包括部分列或部分行，并且术语"行"和"列"是 可交换的，W及是非限制性的。例如，在不脱离本发明的范围的情况下，取决于应用，术语 "行"可用于描述行或列，并且同样，术语"列"可用于描述行或列。

[0081] 在各个方面中，根据噪声滤波算法的实施例，可通过查看实际场景(例如，不是快 口或黑体)来估计列和行噪声，如运里所公开的。可通过测量在来自特定行（和/或列）中的 元素的传感器读数与来自相邻行(和/或列）的传感器读数之间的中值差或平均差来估计列 和行噪声。

[0082] 可选地，在测量所述差之前可将高通滤波器应用到图像数据，运可减少或者至少 最小化使场景一部分的梯度失真和/或引入伪影的风险。在一个方面中，在平均或中值估计 中可W仅使用相差小于可配置阔值的传感器读数。可选地，直方图可用于有效地估计所述 中值。可选地，当从直方图中寻找中值估计时，可W仅使用超过最小计数的直方图仓(bin)。 可选地，可使用递归IIR滤波器估计在像素与它的相邻者之间的差，运可减少或至少最小化 对存储用于处理的图像数据(例如，行噪声区段)的需要(例如，如果从传感器中按行方向读 出图像数据）。在一个实现中，可使用如下的递归滤波器算法来估计在第j行上的第i列的当 前平均列值

[0083]

[0084] 在运个等式中，a是阻尼因子，并且可设置为例如0.2,在该情况中，对于第j行上的 特定第i列的运行平均值的估计将是第j行第i-1列的已估计运行平均值与第j行第i列上 的当前像素值的加权和。现在，可通过取每个值Cl,J与第i行之上的相邻者的运行递归平均 值(<"：I ,)的差来近似在第j行的值与相邻行的值之间的估计差。运种方式估计平均差不像 取真正的平均差那样准确，因为仅使用了上面的行，但是与存储几行实际的像素值相比、它 要求仅存储一行运行平均值。

[0085] 在一个实施例中，参考图2A，方法220的处理流程可实现递归模式的运算，其中在 计算行和列噪声之前应用先前的列和行校正项，运允许在估计噪声之前、当对图像进行高 通滤波时、校正较低的空间频率。

[0086] 通常，在处理期间，递归滤波器至少重新使用一部分输出数据作为输入数据。递归 滤波器的反馈输入可称作无限脉冲响应(IIR)，其可例如用指数增长输出数据、指数衰减输 出数据、或正弦输出数据来表征。在一些实现中，递归滤波器可W不具有无限脉冲响应。运 样，例如移动平均滤波器的一些实现用作递归滤波器，但是具有有限脉冲响应(FIR)。

[0087] 在可适用时，可使用硬件、软件、或硬件和软件的各种组合来实现本发明的各个实 施例。在可适用时，可W将运里陈述的各种硬件组件和/或软件组件合并为包括软件、硬件 和/或二者的复合组件，而不脱离本公开的范围和功能。在可适用时，可W将运里陈述的各 种硬件组件和/或软件组件分离为具有软件、硬件和/或二者的子组件，而不脱离本公开的 范围和功能。在可适用时，预期可将软件组件实现为硬件组件，并且反之亦然。

[0088] 根据本公开的软件(诸如程序代码和/或数据)可被存储在一个或多个计算机可读 介质上。还预期，运里识别的软件可使用一个或多个通用或专用计算机和/或计算机系统、 网络连接和/或其他方式来实现。在可适用时，运里描述的各个步骤的排序可改变、组合为 复合步骤、和/或分离为子步骤，已提供运里描述的特征。

[0089]运里描述的实施例说明但不限制本发明。还应该理解，根据本公开的原理，可能进 行无数的修改和变更。因此，本发明的范围仅仅由接下来的权利要求所限定。