将基准地图变换成与实时图相同视角的图像的装置

摘要

本发明涉及一种将基准地图变换成与实时图相同视角的图像的装置，该装置包括固定参数信息存储装置、飞行器实时参数信息采集装置、坐标变换装置、将基准地图上任意一像素点(xm，ym)的灰度值赋给变换后坐标系下的点(xt，yt)，得到与实时图相同视角的基准地图图像的装置。本发明利用摄像机的运动信息求解图像变换参数，变换后的图像与实时图像在摄像机视角方面达到了统一，为进一步的目标识别奠定了基础。

权利要求

1.一种将基准地图变换成与实时图相同视角的图像的装置，其特征在于包括：固定参数信息存储装置：用于存储基准地图分辨率r、飞行器摄像机焦距f、摄像机成像平面坐标系XtOtYt中Xt方向像素个数Nx，Yt方向像素个数Ny、摄像机像元尺寸p，并将这些参数送给坐标变换装置；

飞行器实时参数信息采集装置：由安装在飞行器上的惯导装置采集飞行器的俯仰角α、航向角β、飞行高度H，并将这些参数送给坐标变换装置；

坐标变换装置：利用式(6)计算得到基准地图坐标系XmOmYm中任意一像素点坐标(xm，ym)在摄像机成像平面坐标系XtOtYt下的坐标(xt，yt)；

式(6)中，

Lx＝Nx×p；

将基准地图上任意一像素点(xm，ym)的灰度值赋给变换后坐标系下的点(xt，yt)，得到与实时图相同视角的基准地图图像的装置。

说明书

将基准地图变换成与实时图相同视角的图像的装置

技术领域

[0001] 本发明属于图像处理技术领域，涉及一种将基准地图变换成与飞行器摄像机拍摄的实时图相同视角的图像的装置。

背景技术

[0002] 基准地图一般来源于卫星上摄像机拍摄的卫星图片，预先装入飞行器的存储设备。实时图为飞行器上摄像机实时拍摄的地面图片，由于摄像机的运动，可能导致基准地图与实时图之间存在旋转、俯仰、缩放等复杂变换。根据已知的摄像机运动信息，对基准地图进行变换，可以消除基准地图与实时图之间的几何变换差异，实现基准地图与实时图之间的匹配，为进一步的目标识别奠定基础。

发明内容

[0003] 本发明要解决的技术问题是提供一种能够实现基准地图与飞行器摄像机拍摄的实时图之间匹配的将基准地图变换成与实时图相同视角的图像的装置。 [0004] 为了解决上述技术问题，本发明将基准地图变换成与实时图相同视角的图像的装置包括：

[0005] 固定参数信息存储装置：用于存储基准地图分辨率r、飞行器摄像机焦距f、摄像机成像平面坐标系XtOtYt中Xt方向像素个数Nx，Yt方向像素个数Ny、摄像机像元尺寸p，并将这些参数送给坐标变换装置；

[0006] 飞行器实时参数信息采集装置：由安装在飞行器上的惯导装置采集飞行器的俯仰角α、航向角β、飞行高度H，并将这些参数送给坐标变换装置；

[0007] 坐标变换装置：利用式(6)计算得到基准地图坐标系XmOmYm中任意一像素点坐 标(xm，ym)在摄像机成像平面坐标系XtOtYt下的坐标(xt，yt)；

[0008]

[0009]

[0010] 式(6)中，

[0011]

[0012] Lx＝Nx×p；

[0013] 将基准地图上任意一像素点(xm，ym)的灰度值赋给变换后坐标系下的点(xt，yt)，得到与实时图相同视角的基准地图图像的装置。

[0014] 本发明利用摄像机的运动信息求解图像变换参数，变换后的图像与实时图像在摄像机视角方面达到了统一，为进一步的目标识别奠定了基础。

附图说明

[0015] 下面结合附图和具体实施方式对本发明作进一步详细说明。

[0016] 图1为本发明的将基准地图变换成与实时图相同视角的图像的装置结构框图。 [0017] 图2为飞行器飞行过程中摄像机的运动方向示意图。

[0018] 图3为摄像机的几何成像过程示意图。

[0019] 图4为基准地图旋转的坐标变化示意图。

[0020] 图5(a)为卫星拍摄的基准地图。

[0021] 图5(b)为基准地图经投影变换后的图像。

[0022] 图5(c)为相机实时拍摄的图像。

具体实施方式

[0023] 如图1所示，本发明的将基准地图变换成与实时图相同视角的图像的装置包括： [0024] 固定参数信息存储装置：用于存储基准地图分辨率r、飞行器摄像机焦距f、摄像机成像平面坐标系XtOtYt中Xt方向像素个数Nx，Yt方向像素个数Ny、摄像机像元尺寸p，并将这些参数送给坐标变换装置；

[0025] 飞行器实时参数信息采集装置：由安装在飞行器上的惯导装置获取飞行器的俯仰角α、航向角β、飞行高度H，并将这些参数送给坐标变换装置；

[0026] 坐标变换装置：利用式(6)计算得到基准地图坐标系XmOmYm中任意一像素点坐标(xm，ym)在摄像机成像平面坐标系XtOtYt下的坐标(xt，yt)；

[0027]

[0028]

[0029] 式(6)中，

[0030]

[0031] Lx＝Nx×p；

[0032] 将基准地图上任意一像素点(xm，ym)的灰度值赋给变换后坐标系下的点(xt，yt)得到与实时图相同视角的基准地图图像的装置。

[0033] 通过分析摄像机机运动与图像变换间的对应关系，可以推导出关于摄像机 机运动参数的图像变换模型。

[0034] 1.飞行器运动分析

[0035] 当飞行器飞行到预定目标上空时，受飞行器飞行姿态的影响摄像机平面与水平地面会有一定的夹角。在工程中，摄像机光轴与水平地面的夹角称为俯仰角；光轴与正北方向的夹角称为航向角。飞行器飞行过程中摄像机的运动如图2所示。

[0036] 图2中，α为俯仰角，β为航向角。飞行器飞行过程中逐渐接近目标，摄像机发生了平移、缩放、旋转(航向角即为旋转角度)、垂直扫动(俯仰角即为垂直扫动角)。水平扫动也会发生，但由于飞行器的控制系统相对稳定，水平扫动的角度很小，在这里忽略不计。 [0037] 2.图像变换模型

[0038] 投影变换模型可以描述摄像机的平移、缩放、旋转、水平扫动和垂直扫动。本发明中采用8参数投影变换模型可以完备的描述飞行器飞行过程中，飞行器的姿态变化，方程如下：

[0039]

[0040] 其中，(x，y)为地面任意点在大地坐标系XOY中的坐标，单位为米。(xt，yt)为(x，y)经过模型变换后在摄像机成像平面坐标系XtOtYt中的像素坐标，单位为像素个数。 [0041] 3.模型参数的求解

[0042] 摄像机的旋转运动是成像平面xy绕光轴z发生旋转，垂直扫动是平面yz绕x轴发生旋转。两种运动不可分离，即先旋转后垂直扫动和先垂直扫动后旋转对图像产生的综合变化是不一样的。事实上，航向角是飞行器进入目标上空的角度。因此，飞行器进入目标上空应该是摄像机先旋转后垂直扫动的过程。对基准地图的变换可以分为两步：首先按照航向角方向旋转，剔除基准地图与实时图之间的旋转角度偏差，然后研究垂直扫动对图像的影响。

[0043] 飞行器飞行过程中摄像机的几何成像过程如图3所示。

[0044] 已知信息为飞行器的飞行高度H，俯仰角α，摄像机的焦距f，像元尺寸p，摄像机成像平面坐标系XtOtYt中Xt方向像素个数Nx，Yt方向像素个数Ny。

[0045] 根据以上信息可求出成像平面的Xt方向长度Lx=Nx×p，Yt方向长度为Ly=Ny×p，[0046] 从图3可以看出，成像平面的矩形图像经过投影变换后成为地面的梯形区域。假设梯形区域的上底为X，高为Y，下底为Xs，根据三角形相似和正弦定理得由于进行实时图像采集处理时，一般以左上角为坐标原点，因此成像平面原点如图3中Ot所示。根据光学成像原理，Ot对应的地面原点为O。为了推导方便，需要将Ot平移至成像平面中心Ot’，平移后的成像坐标系为X′tO′tY′t，则对应的地面的坐标系为X′O′Y′。根据相似三角形定理可得出O’点坐标为 在平移后坐标系下，研究摄像机的旋转和俯仰变化。

[0047] （1）基准地图的旋转

[0048] 本发明中基准地图为Google Earth软件采集的卫星图像，为bmp格式。假设，(x,y)为地面任意点在大地坐标系XOY中的坐标，基准地图的分辨率为r，则(x,y)在基准地图坐标系XmOmYm中的坐标(xm,ym)与(x,y)的关系式为：

[0049] x=rxm，y＝rym (2)

[0050] 对于图3所示的平移坐标系X′O′Y′，图像旋转的坐标变化如图4所示。大地坐标系XOY平移变为平移坐标系X′O′Y′，坐标原点O(0，0)变为 则大地坐标系下任意点(x，y)变为平移坐标系下的点

[0051] 已知航向角为β(北偏东为正)，则图像需要逆时针旋转β，旋转后大地坐标系下的点(x，y)变为点(xr，yr)；

[0052] (3)

[0053]

[0054] 将(2)式代入(3)式得：

[0055] (4)

[0056]

[0057] (2)基准地图的俯仰

[0058] 在平移坐标系X′O′Y′中，地面梯形区域的4个顶点对应成像平面矩形4个顶点坐标如下：

[0059]

[0060]

[0061]

[0062]

[0063] 将梯形区域的顶点坐标代入(2)式右边，成像平面矩形顶点坐标代入(2)式左边，可以求解出8个参数的公式。

[0064]

[0065] m1＝0，

[0066] m2＝0，

[0067] m3＝0，

[0068]

[0069] m5＝0，

[0070] m6＝0，

[0071]

[0072] 此时得到成像平面坐标系下的投影变换方程为：

[0073]

[0074] 将(4)式代替x，y代入(5)式得成像平面坐标系下，包含旋转和俯仰的投影变换公式为：

[0075]

[0076]

[0077] 1.硬件环境：32bit定点，1GHz时钟的TMS320C6416定点数字信号处理器。 [0078] 2.步骤

[0079] 1)软件配置

[0080] 名称：Tansform_Image.c

[0081] 位置：此文件位于系统中的基准地图变换位置

[0082] 功能：能够根据实时飞行器姿态信息，将基准地图变换成与实时图相同视角的图像，用于后续的目标匹配识别。

[0083] 步骤：见下面

[0084] 接口：输入为基准地图图像，输出为投影变换后的图像。

[0085] 2)变换步骤

[0086] a)调入基准地图图像，存储图像灰度值，灰度值范围为0～255，图像大小为600×600。

[0087] b)设置飞行器参数信息

[0088] (1)基准地图分辨率为2.31；

[0089] (2)飞行器俯仰角α＝17°；

[0090] (3)航向角β＝150°；

[0091] (4)高度H＝1700m；

[0092] (5)飞行器摄像机焦距f＝85mm；

[0093] (6)成像平面Nx＝320，Ny＝256；

[0094] (7)像元尺寸p＝0.03mm。

[0095] c)将b)中的参数代入(6)式，计算基准地图图像每个像素点(xm，ym)，经过投影变换后的坐标点(xt，yt)，并将原像素点的灰度值赋给变换后的坐标点。 [0096] d)输出投影变换后图像，灰度值范围为0～255，图像大小为320×256。 [0097] 为了验证该算法的有效性，本发明进行了大量实验，实验图片均来自互联网，下面给出实验结果。

[0098] 图5显示了投影变换的实验结果。(a)为卫星拍摄的基准地图；(b)为投影变换 后的图像；(c)为实时拍摄的图像。

[0099] 从上述实验结果可以看出，利用本文基于相机运动信息的图像变换参数求解方法求出的投影变换参数，变换后的图像与实时图像在相机视角方面达到了统一，为进一步的目标识别奠定了基础。