适用于高帧率大面阵红外探测器的实时红外图像处理系统

摘要

本发明公开了一种适用于高帧率大面阵红外探测器的实时红外图像处理系统，其中，信号调理模块为红外探测器提供偏置电压驱动，将所述红外探测器输出的模拟视频图像信号进行调理并输出到模数转化模块；模数转化模块将调理后的模拟视频图像信号转化为数字视频图像信号后输出到视频图像处理与系统控制模块；视频图像处理与系统控制模块对红外探测器进行控制，并对所述数字视频图像信号进行图像处理后输出；视频输出模块将处理后的数据转化为模拟视频信号和数字视频信号输出。本发明系统中所有图像处理算法以硬件流水线实现，处理能力强，速度快，可扩展性强，整个系统体积小，功耗低，适合实时的高帧率大面阵红外探测场合。

权利要求

1.一种适用于高帧率大面阵红外探测器的实时红外图像处理系统，包括信号调理模块（101）、模数转化模块（102）、图像处理与系统控制模块（103）和视频输出模块（104），其特征在于，所述信号调理模块（101）用于为红外探测器提供偏置电压驱动，将所述红外探测器输出的模拟视频图像信号进行调理，使得调理后的模拟视频图像信号占满模数转化模块(102)的采样范围，并将所述调理后的模拟视频图像信号输出到模数转化模块(102)；

所述模数转化模块（102）将调理后的模拟视频图像信号转化为数字视频图像信号后输出到图像处理与系统控制模块（103）；

所述图像处理与系统控制模块（103）对红外探测器进行控制,并对所述数字视频图像信号进行图像处理后输出，该图像处理与系统控制模块(103)的控制与处理在单个现场可编程门阵列FPGA中实现；

所述视频输出模块（104）将图像处理与系统控制模块（103）处理后的数据转化为模拟视频信号和数字视频信号输出；

其中，所述图像处理与系统控制模块(103)包括：

图像数据读入模块（303），用于接收所述数字视频图像信号，并将接收的图像以多行图像数据为一数据包形成数据流经过图像处理模块进行处理；

图像处理模块，用于对所述数字视频图像信号的数据流进行处理，包括：盲元替换处理、非均匀性校正处理、基于矩形窗的基本图像处理、图像增强处理以及字符叠加处理；

视频输出驱动模块(309)，将经过处理后的数字视频图像一路输出给视频输出模块（104）发送给上位机得到数字视频信号，一路进行插值后输出给视频输出模块（104）得到模拟视频图像信号；

中央控制模块（301），用于实现所述的对红外探测器的控制，包括温度控制和时序控制；同时用于对上述图像数据读入模块（303）、图像处理模块和视频输出驱动模块(309)进行协调控制，以完成图像处理功能。

2.根据权利要求1所述的系统，其特征在于，所述中央控制模块（301）的控制功能还包括：通过响应键盘的操作来实现人机交互、与上位机进行通信、以及配置视频输出模块（104）中的用于输出模拟视频信号的视频DA，使其工作在相应的被动模式下。

3.根据权利要求1或2所述的系统，其特征在于，所述中央控制模块（301）中对所述红外探测器的时序控制功能由FPGA中的硬件逻辑完成，其它各项系统控制功能由FPGA中的嵌入式软核处理器完成的。

4.根据权利要求1或2所述的系统，其特征在于，所述的图像处理模块包括：

盲元替换模块（304）和非均匀性校正模块（305），分别对所述数字视频图像信号进行盲元替换处理和非均匀性校正处理，其中所述盲元替换模块（304）使用的盲元替换表和所述非均匀性校正模块（305）使用的非均匀性校正表都存储在与所述FPGA通过SSRAM接口连接的SSRAM存储器（209）中，在使用时由所述中央控制模块（301）从SSRAM存储器（209）中按时读取到FPGA的内部缓存中；

基本图像处理模块（306），对所述数字视频图像信号进行所述的基于矩形窗的基本图像处理；

图像增强模块（307），对所述数字视频图像信号进行动态增强，并将像素精度为14bit的图像变换像素精度为8bit的图像；

字符叠加模块（308），为所述数字视频图像信号添加十字光标和进行字符叠加。

5.根据权利要求4所述的系统，其特征在于，所述图像处理模块与嵌入式软核处理器挂载在FPGA的内部总线(302)上，所述嵌入式软核处理器通过内部总线(302)对所述图像处理模块进行控制。

说明书

适用于高帧率大面阵红外探测器的实时红外图像处理系统

技术领域：

[0001] 本发明属于红外图像实时处理领域，特别涉及适用于高帧率大面阵红外探测器的，基于单现场可编程门阵列FPGA的实时红外图像处理系统。背景技术：

[0002] 1964年美国德克萨斯仪器公司(TI)的红外前视系统(FLIR)的问世标志着红外成像时代的到来。红外成像系统抗干扰能力强，隐蔽性能好，大气穿透能力强，适应多种特殊场合。但是红外焦平面由于自身的特性和工艺限制，使得红外图像处理和普通CCD图像处理有着很多的不同，必须采用专门的红外图像处理算法对其处理。例如由于制作材料的缺陷、掺杂的非均匀性以及生产工艺过程控制的不稳定等，造成了红外焦平面阵列的不同像元在同一均匀入射辐射下，其视频输出信号幅度不同，这就是所谓的红外焦平面阵列响应的非均匀性(Nonuniformity，NU)。非均匀性将造成图像质量的下降，所以在红外热成像系统设计过程中，必须采取一定的方法尽量降低非均匀性。红外成像系统技术的关键在于红外焦平面技术和红外图像处理技术。红外成像技术，特别是红外焦平面技术，成为各国的研究热点和重点。

[0003] 进入21世纪，红外焦平面技术已得到长足的发展，大面阵，低成本，长寿命，高可靠性的红外焦平面使得红外成像系统的应用越来越广泛。高清晰和小型化是未来红外成像系统主要发展方向。

[0004] 现有技术中，红外图像处理技术主要有两种架构，单信号处理器DSP架构和现场可编程门阵列FPGA+DSP架构。其中现场可编程门阵列FPGA+信号处理器DSP架构是现在红外图像处理技术的主流。该架构中现场可编程门阵列FPGA主要提供各种接口时序，完成对红外焦平面控制和像素数据的采集。由于开发难度的原因，现场可编程门阵列FPGA较少参与图像处理。信号处理器DSP完成各种图像处理，例如盲元校正，非均匀性校正，图像增强。这种架构处理能力有限，如果不增加处理单元，不能适合现在高帧率(每秒100帧以上)和大面阵(640×512以上)的红外焦平面带来的高速处理能力的要求。例如640×512像素帧率100Hz的红外探测器，每像素按14bit量化，则数据量约为459Mbps。但是如果增加处理单元，又造成了系统体积变大、功耗增加、发热量大的缺点，不适合实际应用。同时由于现在红外焦平面市场并不成熟，红外焦平面的接口时序并没有形成统一标准，所以不能很方便提供各种接口时序的单信号处理器DSP架构不能很好的适应多种红外焦平面。
发明内容：

[0005] 本发明目的是提供一种适用于高帧率大面阵红外探测器的，基于单现场可编程门阵列FPGA的实时红外图像处理系统，该系统能够克服现有技术中存在的上述问题。

[0006] 本发明采用单现场可编程门阵列FPGA架构进行红外图像处理。依照本发明的单现场可编程门阵列FPGA架构采用大规模现场可编程门阵列FPGA，采用硬件实现的办法并行的实现红外图像处理算法，能大大提高图像处理速度，能够有效的处理大面阵高帧率红外探测器给实时红外图像处理带来的超大数据量。并且由于单现场可编程门阵列FPGA方案中外围电路少，有利于减小电路体积，有利于实现高像素高帧率红外图像系统。此外，采用SOPC(System-on-a-Programmable-Chip，片上可编程系统)技术的单现场可编程门阵列FPGA架构，在后期可使用Hardcopy技术将成功实现于现场可编程门阵列FPGA器件上的SOPC系统通过特定的技术直接向专用集成电路ASIC转化，可以进一步降低红外成像系统的成本，减小电路体积，提高可靠性。

[0007] 本发明的技术方案如下：

[0008] 一种适用于高帧率大面阵红外探测器的实时红外图像处理系统，其特征在于所述系统包括：

[0009] 信号调理模块，为高帧率大面阵红外探测器提供偏置电压驱动，将所述高帧率大面阵红外探测器输出的模拟视频图像信号进行调理，使得调理后的模拟视频图像信号占满模数转化模块的采样范围，并将所述调理后的模拟视频图像信号输出到模数转化模块；

[0010] 模数转化模块，将调理后的模拟视频图像信号转化为数字视频图像信号后输出到视频图像处理与系统控制模块；

[0011] 图像处理与系统控制模块，对所述系统进行控制，并对所述数字视频图像信号进行图像处理后输出给视频输出模块；

[0012] 视频输出模块将图像处理与系统控制模块处理后的数据转化为模拟视频信号输出和数字视频输出。

[0013] 依照上面所述的系统，其中所述视频图像处理与系统控制模块还包括：

[0014] 中央控制模块，对所述系统执行以下控制：向所述红外探测器输出驱动时序；并对所述红外探测器的工作温度进行控制；通过响应键盘的操作来实现人机交互；将SSRAM存储器中存储的盲元校正表和非均匀校正表数据按时读进FPGA内部缓存中；通过RS232协议与上位机进行串口通信；通过I2C总线配置视频数字模拟转化模块使其工作在相应的被动模式；对图像处理模块进行配置和控制；

[0015] 图像数据读入模块，从模数转化模块中读入所述数字视频图像信号，使N行图像数据为一数据包形成数据流依次经过图像处理模块组成的硬件流水线；

[0016] 图像处理模块，依次对所述数字视频图像信号进行盲元替换处理、非均匀性校正处理、基本图像处理、图像增强处理、字符叠加处理；

[0017] 视频输出驱动模块，将经过处理后的数字视频图像一路输出给视频输出模块按照Camera Link协议发送给上位机得到数字视频信号，一路按照CCIR601格式进行插值后获得符合CCIR601格式的数字视频图像信号，输出给视频输出模块得到PAL制的模拟视频图像信号输出。

[0018] 依照上面所述的系统，其中图像处理模块包括：

[0019] 盲元替换模块和非均匀性校正模块，分别对所述数字视频图像信号进行盲元替换处理和非均匀性校正处理，其中所述盲元替换模块使用的盲元替换表和和所述非均匀性校正模块使用的非均匀性校正表都存储在与所述FPGA通过SSRAM接口连接的SSRAM存储器中，在使用时由所述中央控制模块从SSRAM存储器中按时读取到FPGA的内部缓存中；

[0020] 基本图像处理模块，对所述数字视频图像信号进行基于矩形窗的基本图像处理，所述的基于矩形窗的基本图像处理是一些采用矩阵运算遍历图像的图像处理算法，如中值滤波、图像微分等。

[0021] 图像增强模块，对所述数字视频图像信号进行动态增强，并将像素精度为14bit的图像变换像素精度为8bit的图像用于模拟视频输出；

[0022] 字符叠加模块，为所述数字视频图像信号添加十字光标和进行字符叠加。

[0023] 依照上面所述的系统，其中，中央控制模块对所述系统执行的各项控制中，向红外探测器提供相应的驱动时序是由FPGA中的硬件逻辑完成，而其它各项系统控制都是由FPGA中的嵌入式软核处理器完成的，包括：温度控制、对上述图像数据读入模块(303)、图像处理模块(304，305，306，307，308)和视频输出驱动模块(309)的协调控制、通过响应键盘的操作来实现人机交互、与上位机进行通信、以及配置视频输出模块(104)中的用于输出模拟视频信号的视频DA，使其工作在相应的被动模式下等。

[0024] 此外，所述图像处理模块，与所述嵌入式软核处理器挂载在FPGA的内部总线上，所述嵌入式软核处理器通过总线对所述图像处理模块进行控制。

[0025] 本发明的技术方案相对于现有的实时红外图像处理系统，具有以下显著优点：

[0026] 1、由于整个系统的处理核心仅为一片现场可编程门阵列FPGA，它包括了图像处理模块和嵌入式软核。这样大大降低了功耗和电路板体积，有利于实时红外图像处理系统低功耗和小型化。

[0027] 2、整个系统的图像处理以硬件实现的图像处理流水线为基础，数据处理能力强，而且方便添加其他的图像算法而不会增加图像处理时间，扩展性好。

[0028] 下面结合附图对本发明作进一步的详细描述。

附图说明

[0029] 图1为本系统系统框图。

[0030] 图2为本系统硬件框图。

[0031] 图3为本系统图像处理和系统控制部分框图。

具体实施方式

[0032] 下面结合附图和实施例对本发明所涉及的一种适用于高帧率大面阵红外探测器的单现场可编程门阵列FPGA实时红外图像处理系统作进一步说明。在本发明的实施方式中，所采用的红外探测器的输入图像为640×512像素，每个像素14bit，实现了每秒100帧的处理速度。

[0033] 本系统的系统结构框图如图1所示，该系统包括以下几个模块：信号调理模块101、模数转化模块102、图像处理与系统控制模块103、视频输出模块104。下面结合图2对组成上述系统的各模块的功能和相互之间的连接关系进行详细描述：

[0034] 信号调理模块101用于将红外探测器输出的模拟视频信号进行信号抬升和放大，将占满模数转化模块102中AD转化器的采样范围的模拟视频信号输出给模数转化模块102，同时信号调理模块101向红外探测器输出偏置电压。本发明的实施方式中采用的是某研究所提供的制冷型640×512红外探测器，它的帧率100Hz，模拟视频输出信号电压范围为1V到3.5V，需要采用精密放大器将信号调理到0V到5V，以得到对于模数转化模块
102中的AD转化器最大的量化范围。在本发明的实施方式中，该模块可以采用美国Analog Device公司的单端供电轨到轨精密运放AD822和AD8062为核心实现。

[0035] 模数转化模块102将信号调理模块(101)输入的模拟视频信号转化为数字视频信号输出给图像处理与系统控制模块(103)处理。该模数转化模块(102)中包括AD转化器，其采样时钟可由红外探测器的工作时钟移相得到，以提高信噪比。在本发明的实施方式中，可以采用美国Analog Device公司的14bit采样率10MSPS的ADC AD9240作为模数转化模块(102)。

[0036] 图像处理与系统控制模块103完成系统控制任务与图像处理。所述图像处理与系统控制模块103执行的功能全部在单个大规模现场可编程门阵列FPGA里完成。在本发明的实施方式中，图像处理与系统控制部分是以一高性能现场可编程门阵列FPGA为核心，外部存储器由64MB的Flash，2Gb的DDR2，18Mb的SSRAM构成。所述图像处理与系统控制模块103包括中央控制模块301、图像数据读入模块303、图像处理模块(304，305，306，307，308)、视频输出驱动模块309。

[0037] 其中所述中央控制模块301负责执行系统控制任务。所述系统控制任务包括以下各项：向红外探测器提供相应的驱动时序；对红外探测器的工作温度进行控制，具体为，将红外探测器输出的温度模拟电压信号通过一模数转化器AD 201转化为数字信号，处理该数字信号后通过SPI总线控制一数模转化器DA 203向温控芯片202输出模拟控制电压以控制红外探测器的工作温度；通过响应键盘操作211来完成人机交互；将SSRAM存储器209中存储的盲元校正表和非均匀校正表数据按时读进FPGA内部缓存中，以完成数据搬移；通过RS232协议210与上位机PC进行串口通信；通过I2C总线配置视频图像数模转化模块DA206，使其工作在相应的被动模式；对总线上的图像处理模块IP复位，并发出控制指令对其进行控制。在以上各项系统控制任务中，除了向红外探测器提供相应的驱动时序是由FPGA中的硬件逻辑完成的以外，其它各项系统控制任务(包括温度控制、图像处理模块各子模块的协调控制以及人机交互控制、与上位机的通信控制、视频DA控制)都是FPGA 204中的嵌入式软核处理器中实现的。

[0038] 所述图像数据读入模块303从模数转化模块102中读入数字视频图像信号。

[0039] 按照图像处理算法分类，红外图像处理可分为三级流水线，第一级为盲元替换和非均匀性校正；第二级为基本图像处理；第三级为图像增强和字符叠加。如图3所示，所述图像处理模块包括非均匀性校正模块305、盲元替换模块304、基本图像处理模块306、可交互的动态图像增强模块307和字符叠加模块308。上述图像处理模块包括的各子模块由硬件描述语言Verilog HDL实现，按照统一的接口协议编写接口，封装成图像处理模块IP，与嵌入式软核处理器挂载在FPGA的内部总线302上，嵌入式软核处理器通过总线302对各个图像处理IP模块发出控制命令。读入数字视频图像信号以N行(N为正整数，例如N＝5)图像为一数据包形成数据流依次经过图像处理模块IP组成的硬件流水线。

[0040] 第一级由非均匀性校正模块305和盲元替换模块304组成，主要完成对红外图像的盲元替换处理和非均匀性校正处理。其中，非均匀性校正模块305和盲元替换模块304的非均匀校正表和盲元表由嵌入式软核处理器301配置DMA负责从SSRAM存储器209中按时读取到FPGA内部缓存中。

[0041] 第二级由基本图像处理模块构成，对所述数字视频图像信号进行基于矩形窗的基本图像处理，所述的基于矩形窗的基本图像处理是一些采用矩阵运算遍历图像的图像处理算法，如中值滤波、图像微分等。这里只实现了306用于中值滤波，对本领域技术人员来说，还可以采用其他任意的基于矩形窗的基本图像处理操作。

[0042] 第三级由可交互的动态图像增强模块(307)、字符叠加模块(308)构成，主要功能是把像素精度为14bit的图像数据转换成像素精度为8bit的图像数据用于模拟视频信号输出并完成OSD(On-Screen Display)功能(添加十字光标、进行字符叠加等)。其中动态图像增强模块(307)可提供交互的，并且具有自动和手动两种功能；在自动情况下通过平台直方图均衡化算法实现对视频图像的动态增强并完成14bit图像到8bit图像的变换，在保留背景特征的同时突出目标及其细节；在手动情况下，图像增强功能共有7档以适应不同的场景供用户选择。

[0043] 视频输出驱动模块309完成视频图像的输出。本发明的实施方式中，将经过处理后的数字视频图像一路输出给视频输出模块104按照Camera Link协议发送给上位机得到数字视频信号，一路按照CCIR601格式进行插值后获得符合CCIR601格式的数字视频图像信号，输出给视频输出模块104得到PAL制的模拟视频图像信号输出。

[0044] 依照本发明的一种适用于高帧率大面阵红外探测器的单现场可编程门阵列FPGA实时红外图像处理系统具有很强的数据处理能力和较好的图像处理效果，而且功能上结构灵活，方便进一步的添加图像处理算法、可扩展性强，硬件上电路体积小，功耗低，适合系统小型化。

[0045] 通过参照本发明的实施例，上文中已经对本发明的技术方案进行了描述。本领域技术人员可以根据本发明在形式上和细节上作出各种改变和变形，但是这些改变和变形都应落在本发明的保护范围之内。