IEEE1394接口的实时图像分割处理系统与高速智能统一总线接口方法转让专利
申请号 : CN201010577953.6
文献号 : CN102118289B
文献日 : 2013-04-17
发明人 : 史忠科 , 王闯 , 贺莹
申请人 : 西北工业大学
摘要 :
本发明公开了一种IEEE1394接口的实时图像分割处理系统与高速智能统一总线接口方法，用于解决现有的图像处理系统对高速IEEE1394摄像机图像数据流进行实时分割处理速度低的技术问题。技术方案是通过设计IEEE1394控制器实现对高速摄像机IEEE1394总线协议的解析，根据图像帧同步信号接收有效图像数据，在FPGA内部搭建并行图像处理硬件结构采用Sobel边缘检测、阈值分割和形态学腐蚀处理实现对高速图像数据流的实时分割处理，处理后的结果图像通过高速收发器SerDes利用光纤通道实现高速转发；通过多级硬件流水设计实现对系统图像处理的加速；通过时钟控制模块实现IEEE1394总线同步时钟和高速智能总线同步时钟的切换，实现了两种总线图像数据的高速可靠传输。
权利要求 :
1.一种IEEE1394接口的实时图像分割处理系统与高速智能统一总线接口方法，其特征在于包括以下步骤：
(a)采用FPGA的I/O口触发IEEE1394摄像机的图像采集，摄像机输出的IEEE1394格式的图像数据通过一片IEEE1394物理层链路层芯片进行协议解码和有效像素数据的提取，FPGA通过摄像机输出的行场同步信号实现对摄像机输出的有效图像数据的实时接收；
(b)IEEE1394摄像机单元向智能总线发送时，通过高速智能统一总线编码单元将本部件地址及待发送的信号按照总线编码规则进行编码，然后在低频同步信号控制下将发送信息送入双向存贮器等待发送；接收到向高速智能统一总线发送指令后通过选择开关关闭低频同步信号而开通高频同步信号，通过数据并转串及控制向高速智能统一总线发送地址和信号；
(c)在图像处理时利用FPGA的硬件逻辑，搭建Sobel边缘检测、阈值分割和形态学腐蚀处理的硬件电路，实现对图像序列的实时分割处理，图像处理过程中采用多级流水设计，使得多步图像处理进程同步完成；
(d)根据设计的高速智能统一总线传输帧格式对实时图像数据流进行封装，并通过高速收发器模块SerDes，实现图像数据在高速智能统一总线中的高速实时传输，也方便以其为接口实现图像数据流与其他总线的互联；设置高低速两种时钟，通过时钟切换模块分别同步IEEE1394物理层链路层芯片和高速收发器SerDes的发送时钟，实现信号在高速和低速模式下的可靠转换。
说明书 :
IEEE1394接口的实时图像分割处理系统与高速智能统一
总线接口方法
技术领域
[0001] 本发明涉及一种总线接口方法，特别是一种IEEE1394接口的实时图像分割处理系统与高速智能统一总线接口方法。
背景技术
[0002] 在开发高速实时图像处理系统时，前端图像采集单元的性能对整个系统的性能有极大影响。目前图像采集单元多为PAL/NTSC接口输出，其输出图像帧率较低，这样对于一些对图像处理实时性要求苛刻的场合——例如基于图像的导弹末制导以及基于图像的高速目标跟踪系统开发，图像采集和处理单元的性能和处理速度成为系统进一步提高精度和实用性的瓶颈。
[0003] IEEE1394是一种高速串行总线标准，该标准的线缆模式支持100Mb/s，200Mb/s，400Mb/s的传输速率，即插即用，支持热插拔并且其传输速度可高速升级到3.2G/s。以IEEE
1394格式输出的数字摄像机，在VGA 640×480的分辨率下，其输出帧率可以达到100fps或者更高。高速的图像采集速率需要与之配套的高性能图像处理平台，传统的以工控机或嵌入式微处理器为核心处理系统很显然无法实时处理如此海量的图像数据。现场可编程逻辑门阵列(FPGA)具有现场可编程性与可重构性，具有较强的并行处理能力。公开发表的文献中，用FPGA作为核心的图像处理系统，其图像处理的速度、处理方式的灵活性和对不同图像算法的适应性可以大大得到提高。
1394格式输出的数字摄像机，在VGA 640×480的分辨率下，其输出帧率可以达到100fps或者更高。高速的图像采集速率需要与之配套的高性能图像处理平台，传统的以工控机或嵌入式微处理器为核心处理系统很显然无法实时处理如此海量的图像数据。现场可编程逻辑门阵列(FPGA)具有现场可编程性与可重构性，具有较强的并行处理能力。公开发表的文献中，用FPGA作为核心的图像处理系统，其图像处理的速度、处理方式的灵活性和对不同图像算法的适应性可以大大得到提高。
[0004] 文献“基于IEEE1394接口的图像传输控制器设计，仪器仪表用户，2008，Vol.15(3)，p41-43”公开了一种IEEE1394接口的摄像机图像数据的高速传输方法。该方法以FPGA为核心控制器，首先图像数据由数字相机输入，进入IEEE1394物理层后，由物理层打包成为1394等时数据包格式，经链路层进入FPGA。FPGA根据等时数据包事务代码号(0A)检测数据包头，分离出有效的图像数据存入SRAM，FPGA设计SRAM读写“乒乓”操作，以不间断进行数据传输，同时提取出帧同步信号，与图像数据一起发送到PCI接口，才能进行下一步的图像处理。这种方法虽然实现了对图像的实时传输，但是对图像的分割处理需要在工控计算机中进行，一般必定不能实时处理，这样在对系统图像处理性能有较高要求的场合，该种接口方法效果欠佳。另外，此方法仅仅只实现了IEEE1394总线和工控计算机之间通过PCI总线的互联，当IEEE1394摄像机图像数据与其他系统或总线协议进行高速图像传输时由于传输介质和速度各异仍然难以实现数据交互。
发明内容
[0005] 为克服现有的图像处理系统对高速IEEE1394摄像机图像数据流进行实时分割处理速度低的不足，本发明提供一种IEEE1394接口的实时图像分割处理系统与高速智能统一总线的接口方法，通过设计IEEE1394控制器实现对高速摄像机IEEE1394总线协议的解析，根据图像帧同步信号接收有效图像数据，在FPGA内部搭建并行图像处理硬件结构采用Sobe1边缘检测、阈值分割和形态学腐蚀处理实现对高速图像数据流的实时分割处理，处理后的结果图像通过高速收发器SerDes利用光纤通道实现高速转发；通过多级硬件流水设计实现对系统图像处理的加速；通过时钟控制模块实现IEEE1394总线同步时钟和高速智能总线同步时钟的切换，实现两种总线图像数据的高速可靠传输。
[0006] 本发明解决其技术问题所采用的技术方案：一种IEEE1394接口的实时图像分割处理系统与高速智能统一总线接口方法，其特点是包括以下步骤：
[0007] (a)采用FPGA的I/O口触发IEEE1394摄像机的图像采集，摄像机输出的IEEE1394格式的图像数据通过一片IEEE1394物理层链路层芯片进行协议解码和有效像素数据的提取，FPGA通过摄像机输出的行场同步信号实现对摄像机输出的有效图像数据的实时接收。
[0008] (b)IEEE1394摄像机单元向智能总线发送时，通过智能总线编码单元将本部件地址及待发送的信号按照总线编码规则进行编码，然后在低频同步信号控制下将发送信息送入双向存贮器等待发送；接收到向总线发送指令后通过选择开关关闭低频同步信号而开通高频同步信号，通过数据并转串及控制向智能总线发送地址和信号。
[0009] (c)在图像处理时利用FPGA的硬件逻辑，搭建Sobel边缘检测、阈值分割和形态学腐蚀处理的硬件电路，实现对图像序列的实时分割处理，图像处理过程中采用多级流水设计，使得多步图像处理进程同步完成。
[0010] (d)根据设计的智能总线传输帧格式对实时图像数据流进行封装，并通过高速收发器模块SerDes，实现图像数据在智能总线中的高速实时传输，也方便以其为接口实现图像数据流与其他总线的互联；设置高低速两种时钟，通过时钟切换模块分别同步IEEE1394物理层链路层芯片和高速收发器SerDes的发送时钟，实现信号在高速和低速模式下的可靠转换。
[0011] 本发明的有益效果是：实现了一种IEEE1394接口的实时图像分割处理系统与高速智能统一总线的接口方法，使得对图像的高速采集、实时分割处理以及在不同传输介质中的实时传输成为现实；采用时钟切换和数据接收发送的优先级设置，并充分利用了高速逻辑阵列并行性可重构性的特点，实现了图像数据在较低速IEEE1394总线和高速智能总线间的双向数据交互，提高了对IEEE1394总线数据的转发速度；只是在与总线相接的存贮单元、并转串、选择开关和高速逻辑阵列使用甚高频器件，而其余部分只需要能满足本单元要求的器件即可，从而降低了对接口硬件性能的要求，增加了数据传输的可靠度。
[0012] 下面结合附图和实施例对本发明作详细说明。
附图说明
[0013] 图1是本发明IEEE1394接口的实时图像分割处理系统与高速智能统一总线接口图。
[0014] 图2是本发明IEEE1394接口图像分割结果图像发送流程图。
[0015] 图3是本发明基于FPGA实时图像处理模块硬件逻辑框图。
[0016] 图4是本发明基于FPGA的Sobel边缘检测RTL综合图。
[0017] 图5是本发明基于FPGA的形态学腐蚀处理的RTL综合图。
[0018] 图6是本发明基于FPGA的实时图像处理多级流水结构图。
[0019] 图7是本发明智能总线数据帧格式图。
[0020] 图8是本发明基于FPGA的Sobel边缘检测处理过程示意图。
具体实施方式
[0021] 参照图1～8，详细说明本发明。
[0022] 本实施例为一种基于IEEE1394接口摄像机的实时高速图像分割处理系统与智能总线的接口，实现了对IEEE1394摄像机图像序列的实时分割及其与高速智能总线的接口。本实施例的硬件结构包括IEEE1394图像接收控制器、智能总线数据帧封装及发送控制器、实时图像处理模块和不同总线时钟切换模块。
[0023] 本实施例中两种总线的调度和接口控制主要在FPGA中完成，FPGA采用美国ALTERA Cyclone II 2C35 FPGA芯片。IEEE1394总线协议中的链路层和物理层采用PHILIPS公司的链路层控制芯片PDI1394L40和物理层芯片PDI1394L25实现；高速收发器SerDes采用BCM8152，可实现10Gbps的数据收发速度。图像采集单元采用IEEE1394a接口输出的A600型数字CCD摄像机；高速双口RAM采用型号为IDT70V3079的芯片，其读写速度最快可达到4ns。FPGA是系统处理和控制的核心，主要进行IEEE1394视频流的采集控制、实时图像处理和时钟切换的工作，实现了对图像数据流的高速分割处理和在不同总线下的传输转换，最大化利用总线的通信能力并避免数据的丢失。
[0024] 首先FPGA通过I/O端口触发IEEE1394摄像机的图像采集，IEEE1394格式的数据流在经过协议解析后进入实时图像处理模块进行分割。一帧图像开始时，有效像素在同步时钟控制下连续的读进FPGA的FIFO中，很快当这些像素累计到一定的量，Sobel边缘检测开始处理；之后在每一个像素到达时，都可以同步对一个象素进行处理。对于阈值分割，不需要进行象素缓存，对于到达的每一象素直接进行处理并将处理结果输出。而对于形态学腐蚀处理，按照和Sobel边缘检测同样的步骤，先缓存，然后采集、处理和输出并行进行。这样，形成了实时图像处理的四级流水结构。在同一个时钟周期内，有效象素采集、边缘检测、阈值分割和腐蚀同步进行处理；而且在一帧图像采集完毕的有限时钟周期内，能够完成对图像的全部分割处理工作。
[0025] 在进行Sobel边缘检测处理时，根据图像的行分辨率W，在FPGA内部设置一块固定长度的FIFO，缓存之前到来的2W+4个像素。当之后的象素到达时，首先将其存入FIFO，接着以第W+2个像素为中心按照两个梯度核计算像素的边缘e(x，y)并输出，处理过程如图8所示，其中红色矩形框为当前Sobel算子的像素中心点，蓝色矩形区域为3×3的滤波窗口。从算法的执行过程看，每一个有效像素都先存入FIFO，并在计算Sobel梯度前经过了W+2个时钟周期的延时，运行过程并不影响像素数据流的执行顺序和处理结果。接着，采用固定阈值Seg_Th对其进行阈值分割。
[0026] 进行形态学腐蚀处理时，定义3×3的全1卷积核，扫描边缘二值图像的每一个像素，用卷积核的结构元素与其覆盖的二值图像做“与”操作，若全为1，则该像素的腐蚀结果为1，否则为0。腐蚀操作的实现与边缘检测相似，都需要在3×3窗口内进行，区别在卷积核不同。腐蚀操作需要将根据查找表获得的周围8邻域的象素值分别和卷积核对应元素做“与”操作，其结果作为中心象素的腐蚀输出。
[0027] 当进行完分割处理时，结果像素被按照智能总线数据帧格式进行封装，并实时高速投递到高速收发器SerDes的发送缓存；此时，在时钟切换模块的协调下，发送时钟切换到高速模式。当高速时钟的上升沿到达时将数据通过光纤通道发送出去。