一种面向机载行扫相机的高动态图像拼接方法

摘要

本发明公开了一种面向机载行扫相机的高动态图像拼接方法，属于信号处理领域。首先将线阵相机获取到的行扫图像进行灰度变换，增强行扫图像中感兴趣区域。其次，将行扫图像通过带通滤波器，提取出感兴趣部分。接着，重构行扫图像，原始的行扫图像减去感兴趣部分和信号位移系数的积，得到结果图像。最后，行扫图像拼接，生成一个行数、列数固定的空矩阵，将处理后图像的二维矩阵依次写入该矩阵。直到待拼接图像为最后一幅行扫图像为止，最终得到全景图。本发明提出的方法能够适应场景中光线等因素的变化，可以处理低光照条件下获取到的行扫图像，提高了系统的鲁棒性，并且对行扫图像在完成拼接的同时可以保证接缝对齐。

权利要求

1.一种面向机载行扫相机的高动态图像拼接方法，其特征在于，包括以下步骤：S1、通过飞机上搭载的线阵相机获取行扫图像；设线阵相机的扫描频率为K赫兹，时长为T秒，将扫描得到一个K×T行的行扫图像的视频流；K、T均为正整数；

S2、从视频流的第一帧开始，依次对每帧行扫图像进行灰度变换；

S3、用I(x,t)表示S2处理后的行扫图像在空间x处和在时间t处的强度；I(x,0)＝f(x)表示初始时刻图像强度；用δ(t)表示位移函数，为从0到t时刻x处的像素变化；则在t时刻图像强度表示为I(x,t)＝f(x+δ(t))；对I(x,t)用一阶泰勒级数关于x展开，得到S4、将S3中I(x,t)表示的行扫图像通过时域带通滤波器H(x,t)，目标是提取出除了f(x)外的所有信号，设提取出的感兴趣部分为B(x,t)；

S5、重构行扫图像，得到重构图像在空间x处和在时间t处的强度表示为I'(x,t)；

I'(x,t)＝I(x,t)‑αB(x,t)；其中，因子α是信号位移的系数；

所述I'(x,t)表示为：

再利用泰勒公式，得到输出I'(x,t)＝f(x+(1‑α)δ(t))，将f(x)在时间t的位移函数由δ(t)变换到(1‑α)δ(t)；

S6、拼接行扫图像；具体是：生成一个行数为K×T行的空矩阵，将S5处理后图像的二维矩阵写入空矩阵；所述的行扫图像的分辨率为1×2048时，所述空矩阵的列为2048；

S7、将后续输入的第i张行扫图像继续重复步骤S3～S5，依次将S5处理后的第i张行扫图像的矩阵写入S6生成的矩阵，直到待拼接图像为第K×T幅行扫图像为止，最终得到K×T幅图像拼接的全景图。

2.根据权利要求1所述的面向机载行扫相机的高动态图像拼接方法，其特征在于，所述的行扫图像的分辨率为1×2048。

3.根据权利要求1所述的面向机载行扫相机的高动态图像拼接方法，其特征在于，所述的S2中，灰度变换采用线性变换、对数变换、幂次变换或者分段线性变换。

4.根据权利要求1所述的面向机载行扫相机的高动态图像拼接方法，其特征在于，所述的S2中，灰度变换采用正比函数的线性变换，输出亮度和输入亮度可互换。

5.根据权利要求1所述的面向机载行扫相机的高动态图像拼接方法，其特征在于，所述的S4中，时域带通滤波器是二阶递归滤波器，设置滤波器的中心频率为线阵相机的扫描频率；

对I(x,t)使用带通滤波器，B(x,t)＝H(x,t)*I(x,t)，*表示卷积；令感兴趣部分

6.根据权利要求1所述的面向机载行扫相机的高动态图像拼接方法，其特征在于，所述的S5中，因子α取值为0.18。

说明书

一种面向机载行扫相机的高动态图像拼接方法

技术领域

[0001] 本发明属于信号处理领域，涉及一种面向机载行扫相机的高动态图像拼接方法，利用信号处理与分析的方法，将机载相机获取到的行扫图像进行拼接。

背景技术

[0002] 机载相机是飞机进行航测的重要设备，其任务就是从空中实时获取高分辨率的目标图像信息，经处理后将信息实时传输给控制中心，完成地面目标图像的采集。

[0003] 飞机是高动态的，速度可达到205m/s，机载相机拍摄时视野较大，而且要求精度较高。线阵相机分辨率超高，而且图像采集速度快，所以目前飞机多采用线阵相机获取地面图
像。随着飞机向前运动，线阵相机逐行扫描地面目标，对整个目标进行均匀检测。获取到的
行扫图像直接送入计算机中存储，由于每个时刻得到的都是一行的图像数据，这就需要将
一行一行的图像先进行预处理，再合并成一幅完整的图像，之后利用图像获取所需信息，实
现从测量到成图的全部过程均以数字化方式实现。

[0004] 机载相机能正常拍摄的前提条件是相机的视轴相对地理坐标系要保持稳定，即要求载机在相机拍摄的过程中始终保持水平、直线、匀速地飞行，同时还要保持飞行姿态的稳
定。但是，空中气流、风向及风速的变化都会引起载机的姿态横滚、俯仰及偏航变化，载机姿
态变化直接影响的是行扫图像发生几何畸变、相邻行扫图像之间相对平移，所以直接进行
行扫图像拼接的结果并不理想。

发明内容

[0005] 本发明为解决上述问题，提供一种面向机载行扫相机的高动态图像拼接方法，采用信号处理的方法，利用泰勒级数的展开，实现行扫图像的高效对齐拼接。

[0006] 本发明的面向机载行扫相机的高动态图像拼接方法，具体步骤如下：

[0007] S1、通过飞机上搭载的线阵相机获取行扫图像；设线阵相机的扫描频率为K赫兹，时长为T秒，将扫描得到一个K×T行的行扫图像的视频流；K、T均为正整数；

[0008] S2、从视频流的第一帧开始，依次对每帧行扫图像进行灰度变换；

[0009] S3、用I(x,t)表示S2处理后的行扫图像在空间x处和在时间t处的强度，I(x,0)＝f(x)表示初始时刻。用δ(t)表示位移函数，即从0到t时刻x处的像素变化，则在t时刻图像强
度表示为I(x,t)＝f(x+δ(t))。对一维信号用一阶泰勒级数关于x展开，得到

[0010] S4、将S3中I(x,t)表示的行扫图像通过时域带通滤波器，目标是提取出除了f(x)外的所有信号，设提取出的感兴趣部分为B(x,t)。

[0011] S5、重构行扫图像，得到重构图像在空间x处和在时间t处的强度表示为I'(x,t)；

[0012] I'(x,t)＝I(x,t)‑αB(x,t)；其中，因子α是信号位移的系数。

[0013] 本发明中的因子α是信号位移的系数，通过运算，f(x)在时间t的位移函数由δ(t)变换到(1‑α)δ(t)。α的值不是一成不变的，根据处理的行扫图像不同，取值也不同。

[0014] S6、行扫图像拼接。生成一个行数为K×T的空矩阵，将S5处理后的图像的二维矩阵写入空矩阵。

[0015] S7、将后续输入的第i张行扫图像继续重复步骤S3～S5，循环进行，依次将S5处理后的第i张行扫图像的矩阵写入S6生成的矩阵，直到待拼接图像为第K×T幅行扫图像为止，
最终得到K×T幅图像拼接的全景图。

[0016] 所述S2中，灰度变换可采用线性变换、对数变换、幂次变换或者分段线性变换等。采用正比函数的线性变换时，线性变换的输出亮度和输入亮度可互换，而且完全包括在图
形中。

[0017] 所述S4中，时域带通滤波器是二阶IIR滤波器，设置滤波器的中心频率为线阵相机的扫描频率。对S3中I(x,t)使用带通滤波器，B(x,t)＝H(x,t)*I(x,t)，*表示卷积。提取出
除了f(x)外的所有信号，即 即令

[0018] 所述S5中，I'(x,t)进一步表示为： 再利用泰勒公式，得到输出I'(x,t)＝f(x+(1‑α)δ(t))，将f(x)在时间t的位移函数由δ(t)变换到(1‑α)δ
(t)。

[0019] 本发明的优点及带来的有益效果在于：采用信号处理的方法，而非传统的图像处理方法，以信号随时间变化的角度处理行扫图像，利用泰勒级数展开，对行扫图像在完成拼
接的同时保证接缝对齐。而且本发明方法过程简单易行，计算量小。本发明提出的方法能够
适应场景中光线等因素的变化，可以处理低光照条件下获取到的行扫图像，提高了系统的
鲁棒性。

附图说明

[0020] 图1为本发明面向机载行扫相机的高动态图像拼接方法的流程图；

[0021] 图2为本发明未经灰度变换的行扫图像拼接；

[0022] 图3为本发明经灰度变换处理后的行扫图像拼接；

[0023] 图4为按传统方法直接进行拼接的图像示意图；

[0024] 图5为图4中所框部分的细节图；

[0025] 图6为采用本发明方法进行拼接的图像示意图；

[0026] 图7为图6中所框部分的细节图。

具体实施方式

[0027] 现有的图像拼接方法大多是拼接存在重叠部分的图像，而公开的非重叠部分图像拼接的方法中，是根据拼接位置附近两幅图像内容的相似程度来确定的。这两类方法的特
点是，都以图像处理的角度出发，并不涉及图像信号在时域上的变化，而且处理过程较为复
杂，计算量比较大。现有的图像拼接方法是先将图像序列进行空间配准，再经过图像变换、
重采样和图像融合后，形成一幅包含每幅图像的宽视角图像。而对比机载行扫相机获取到
的行扫图像拼接，还是有明显区别的，因为线阵相机获取到的行扫图像没有重叠部分。

[0028] 本发明可以认为相邻两行图像至少有一部分数据特征相同的像素点。机载线阵相机的分辨率为1×2048，设置线阵相机的扫描频率为KHz，时长为T秒。因为每个时刻线阵相
机只能获取一幅行数为1，列数为2048的行扫图像，所以相机拍摄过程中，每个像素点在行
扫图像中的变化，可以看作随时间的变化，也就是一维信号的平移运动。因此用I(x,t)表示
行扫图像在空间x处和在时间t处的强度，I(x,0)＝f(x)表示初始时刻。经信号处理消除相
对位移后，按采集行扫图像的时间先后顺序依次进行拼接，得到完整的地面目标图像。

[0029] 为了更好地理解本发明的技术方案，下面结合飞机平飞通场时线阵相机(扫描频率为1kHz)获取得到机场跑道入口的行扫数据以及附图，详细介绍本发明方法。

[0030] 本发明提供的面向机载行扫相机的高动态图像拼接方法，具体实现流程如图1所示，下面说明各实现步骤。

[0031] S1、设置线阵相机的扫描频率为K赫兹(Hz)，时长为T秒，即每秒扫描K行数据，一共扫描K×T行幅大小为1×2048的行扫图像。通过飞机上搭载的线阵相机将获取到的行扫数
据输入到计算机中，得到一个分辨率为1×2048，每秒K帧的视频流。

[0032] S2、从第一帧(第一幅行扫图像)开始，依次对每帧行扫图像进行灰度变换，增强行扫图像中感兴趣区域，消除低照明的影响，使得行扫图像更清晰。对输入的第i张行扫图像
继续都重复本步骤，i＝1,2,…,K×T。如图2所示，为未经灰度变换的行扫图像拼接，经过灰
度变换后，得到如图3所示的行扫图像拼接。

[0033] 灰度变换常见的有线性变换、对数变换、幂次变换及分段线性变换等，通过直方图均衡同样可以增强图像。本发明采用正比的线性变换，其输出亮度和输入亮度可互换，而且
完全包括在图形中。对于照明情况不理想时，行扫图像对比度低时，处理过程简单而有效。

[0034] S3、用I(x,t)表示S2处理后的行扫图像在空间x处和在时间t处的强度，I(x,0)＝f(x)表示初始时刻。用δ(t)表示位移函数，即从0到t时刻x处的像素变化，则在t时刻图像强
度表示为I(x,t)＝f(x+δ(t))。对一维信号用一阶泰勒级数关于x展开，得到：

[0035]

[0036] S4、将S3中I(x,t)表示的行扫图像通过时域带通滤波器，即B(x,t)＝H(x,t)*I(x,t)。其中，B(x,t)表示提取出的感兴趣部分，H(x,t)表示时域带通滤波器，符号*表示卷积。

[0037] 本发明采用的是二阶IIR滤波器，因为已知每秒K张图片，已知K＝1kHz，所以滤波器的中心频率设为1kHz，通频带设置为0.8kHz～1.2kHz。对S3中I(x,t)使用带通滤波器，提
取出除了f(x)外的所有信号，即 且令

[0038] S5、行扫图像重构，原始行扫图像减去S4提取的感兴趣部分乘以因子α，得到结果图像I'(x,t)。因子α是信号位移的系数。

[0039] 用I'(x,t)＝I(x,t)‑αB(x,t)表示原信号减去带通信号乘以因子α。

[0040] 进一步变换得到，

[0041] 进一步的，利用泰勒公式得到输出I'(x,t)＝f(x+(1‑α)δ(t))。将f(x)在时间t的位移函数由δ(t)变换到(1‑α)δ(t)。因为S4滤波器的理想目标是提取出除了f(x)外的所有
信号，所以此过程针对要处理的视频信号完全在滤波器的带宽内。但实验发现会有极少一
部分信号在滤波器的带宽外，所以因子α的实际取值需要经实验确定。经多次实验，本发明
实施例中因子α的实际取值为0.18，以保证要处理的视频信号尽可能的在滤波器的带宽内。

[0042] S6、行扫图像拼接。生成一个行数为K×T，列数为2048的空矩阵，将S5处理后行扫图像的二维矩阵写入空矩阵。

[0043] S7、将后续输入的第i张行扫图像继续重复步骤经S3～S5，循环进行，依次将S5处理后行扫图像的二维矩阵写入S6生成的矩阵，直到待拼接图像为第K×T幅行扫图像为止，
最终得到K×T幅图像拼接的全景图。

[0044] 如图4所示，按照传统方法直接进行拼接所得到的图像，图6为按照本发明方法进行拼接得到的图像。图5、图7分别为传统方法和本发明方法所得图像的所框部分经放大的
图像，其中，竖直点划线为基准线。由两幅图像对比可知，传统方法不能保证行扫图像拼接
对齐的准确性，肉眼可见的，斑马线右侧发生偏移、弯曲；而使用本发明方法拼接所得图像
中，斑马线垂直对齐的效果明显优于传统方法。