一种机载综合视景系统虚实融合显示方法及系统

IPRDB

API 数据接口

专利申请

使用指引 chat嘟嘟

会员体验

联系我们

交流群

现在联系顾问~

一种机载综合视景系统虚实融合显示方法及系统
申请号	CN202010001858.5	申请日	2020-01-02	公开(公告)号	CN111145362A	公开(公告)日	2020-05-12
申请人	中国航空工业集团公司西安航空计算技术研究所;			发明人	程岳; 李亚晖; 刘作龙; 文鹏程; 余冠锋; 韩伟;
摘要	本发明属于机载图形图像处理领域，涉及一种机载综合视景系统虚实融合显示方法及系统。本发明提出的机载综合视景系统虚实融合显示方法，通过实时多模态视频与合成视景地图画面的亚像素精度匹配，一方面准确指示跑道和障碍物的精确位置，另一方面通过图像图形融合，在色彩和纹理上增强了综合视景画面，再进一步对障碍物三维图形进行几何校正融合，最终实现了多模态视频与合成视景地图画面的有机融合显示。本发明能够有效改善飞行员在低能见度条件下对机场跑道、障碍物的空间位置形态的感知精确，提升情景意识，降低飞行进近和着陆过程中的可控飞行撞地、跑道入侵等典型事故，提高飞机的安全性。
权利要求	1.一种机载综合视景系统虚实融合显示方法，其特征在于，包括： 1)获取当前机载定位信息以及相应的地图高程数据和正射影像，并结合飞行姿态信息，得出与多模态视频传感器当前帧一致的粗配准地图画面； 2)以所述粗配准地图画面为浮动图像f，当前多模态视频帧为参考图像fR，根据建立的关于浮动图像与参考图像之间仿射变换的误差能量函数，优化得到亚像素配准精度的校正后地图画面； 3)将所述校正后地图画面进行HSV颜色空间分解，获得分解后的色度、饱和度和亮度分量，将其中亮度分量与多模态视频进行图像融合； 4)将融合后的亮度分量再与彩色视频帧的色度和饱和度分量合并，输出融合结果； 5)将建立的障碍物模型叠加在步骤4)融合后的图像画面中，渲染并输出虚实融合的综合视景画面。 2.根据权利要求1所述的机载综合视景系统虚实融合显示方法，其特征在于，步骤1)具体是：基于机载定位信息查询合成视景三维数字地图数据库，获得机场附近的地图高程数据和飞机前视方向设定范围的地图正射影像，结合飞行姿态信息和多模态视频传感器标定得到的传感器内部参数对地图画面进行透视投影变换，获取与多模态视频传感器当前帧一致的粗配准地图画面。 3.根据权利要求1所述的机载综合视景系统虚实融合显示方法，其特征在于，步骤1)中是根据计算机视觉中的针孔成像原理绘制得到所述粗配准地图画面。 4.根据权利要求1所述的机载综合视景系统虚实融合显示方法，其特征在于，步骤2)具体是：采用归一化总梯度(NTG)作为浮动图像与参考图像之间仿射变换的误差能量函数，通过迭代法优化求解该误差能量函数，获取误差能量函数最小情况下的仿射变换参数，即为浮动图像到参考图像之间的几何变换关系；最后对浮动图像进行几何变换，获得亚像素配准精度的校正后地图画面。 5.根据权利要求1所述的机载综合视景系统虚实融合显示方法，其特征在于，步骤3)中所述将其中亮度分量与多模态视频进行图像融合，具体是采用基于显著度的融合方法，在彩色视频帧亮度分量图像和多模态视频帧中逐像素应用拉普拉斯算子，得到初始显著度图像；再对初始显著度图像进行导向滤波后，输出平滑的显著度图像；以显著度图像亮度值作为加权权重，对彩色视频帧的亮度分量和多模态视频帧进行逐像素加权平均，输出融合后的亮度分量。 6.根据权利要求1所述的机载综合视景系统虚实融合显示方法，其特征在于，步骤5)中所述障碍物模型，是根据所述浮动图像到参考图像之间的几何变换关系，在三维空间中重新计算障碍物点、线、面位置、纹理坐标得到的。 7.根据权利要求1所述的机载综合视景系统虚实融合显示方法，其特征在于，所述机载定位信息包括经度、维度和高度；所述飞行姿态信息包括俯仰、横滚、偏航数据。 8.一种机载综合视景系统虚实融合显示系统，其特征在于，包括：粗配准模块，用于获取当前机载定位信息以及相应的地图高程数据和正射影像，并结合飞行姿态信息，得出与多模态视频传感器当前帧一致的粗配准地图画面；精配准模块，用于以所述粗配准地图画面为浮动图像f，当前多模态视频帧为参考图像fR，根据建立的关于浮动图像与参考图像之间仿射变换的误差能量函数，优化得到亚像素配准精度的校正后地图画面；亮度分量融合模块，用于将所述校正后地图画面进行HSV颜色空间分解，获得分解后的色度、饱和度和亮度分量，将其中亮度分量与多模态视频进行图像融合； HSV分量合并模块，用于将融合后的亮度分量再与彩色视频帧的色度和饱和度分量合并，输出融合结果；渲染输出模块，用于将建立的障碍物模型叠加在融合后的图像画面中，渲染并输出虚实融合的综合视景画面。 9.根据权利要求8所述的机载综合视景系统虚实融合显示系统，其特征在于：所述障碍物模型，是通过获取所述精配准模块得到的校正后地图画面，在三维空间中重新计算障碍物点、线、面位置、纹理坐标得到的。 10.一种机载设备，包括处理器和程序存储器，其特征在于，所述程序存储器存储的程序被处理器加载时执行权利要求1所述机载综合视景系统虚实融合显示方法。
说明书全文	一种机载综合视景系统虚实融合显示方法及系统技术领域 [0001] 本发明属于机载图形图像处理领域，涉及一种机载综合视景系统虚实融合显示方法。背景技术 [0002] 综合视景系统(CVS)或增强合成视景系统(ESVS),通过多模态视频与三维数字地图融合，在飞行进近阶段，为飞行员提供机场跑道、危险地形与障碍物的等效目视视频画面信息。它综合了合成视景系统(SVS)大视场、高分辨率、真彩色的优点以及增强视景系统(EVS)实时多模态(长波红外、短波红外与毫米波)视频穿透气象障碍成像的优点。虚实融合的综合视景实时画面显著提升飞行员情景意识，增强飞行安全性。 [0003] 传统的综合视景系统中，由于固有的导航参数、传感器标定等误差，合成视景画面与增强视景画面有一定的配准误差，为了降低虚实画面不一致造成的感知障碍，目前的解决方案有两种，一种是采用“画中画”的方式在合成视景虚拟画面中开窗显示多模态视频画面，忽略窗口边缘的不一致性。另一种是在多模态视频画面上叠加简化显示的地图线框(Framewire)图形，指示跑道、障碍物与地形。 [0004] 上述两种方式都不可避免存在一定的画面不一致性，干扰飞行员对环境的认知和判断。另外合成视景画面与增强视景画面并没有获得精确的配准与融合，缺乏准确的跑道、障碍物等关键位置指示和可以辨识的真实场景颜色纹理等细节信息。发明内容 [0005] 本发明提出的综合视景虚实画面融合显示方法，旨在提升综合视景画面的虚实融合准确度和画面的可读性。 [0006] 本发明的技术方案如下： [0007] 该机载综合视景系统虚实融合显示方法，包括： [0008] 1)获取当前机载定位信息以及相应的地图高程数据和正射影像，并结合飞行姿态信息，得出与多模态视频传感器当前帧一致的粗配准地图画面； [0009] 2)以所述粗配准地图画面为浮动图像f，当前多模态视频帧为参考图像fR，根据建立的关于浮动图像与参考图像之间仿射变换的误差能量函数，优化得到亚像素配准精度的校正后地图画面； [0010] 3)将所述校正后地图画面进行HSV颜色空间分解，获得分解后的色度、饱和度和亮度分量，将其中亮度分量与多模态视频进行图像融合； [0011] 4)将融合后的亮度分量再与彩色视频帧的色度和饱和度分量合并，输出融合结果； [0012] 5)将建立的障碍物模型叠加在步骤4)融合后的图像画面中，渲染并输出虚实融合的综合视景画面。 [0013] 基于以上方案，本发明还进一步作了如下优化： [0014] 可选地，步骤1)具体是：基于机载定位信息查询合成视景三维数字地图数据库，获得机场附近的地图高程数据和飞机前视方向设定范围的地图正射影像，结合飞行姿态信息和多模态视频传感器标定得到的传感器内部参数(主点、焦距等)对地图画面(即基于前述地图高程数据和地图正射影像渲染后的画面)进行透视投影变换，获取与多模态视频传感器当前帧一致的粗配准地图画面。 [0015] 可选地，步骤1)中是根据计算机视觉中的针孔成像原理绘制得到所述粗配准地图画面。 [0016] 可选地，步骤2)具体是：采用归一化总梯度(NTG)作为浮动图像与参考图像之间仿射变换的误差能量函数，通过迭代法优化求解该误差能量函数，获取误差能量函数最小情况下的仿射变换参数，即为浮动图像到参考图像之间的几何变换关系；最后对浮动图像进行几何变换，获得亚像素配准精度的校正后地图画面。 [0017] 可选地，步骤3)中所述将其中亮度分量与多模态视频进行图像融合，具体是采用基于显著度的融合方法，在彩色视频帧亮度分量图像和多模态视频帧中逐像素应用拉普拉斯算子，得到初始显著度图像；再对初始显著度图像进行导向滤波后，输出平滑的显著度图像；以显著度图像亮度值作为加权权重，对彩色视频帧的亮度分量和多模态视频帧进行逐像素加权平均，输出融合后的亮度分量。 [0018] 可选地，步骤5)中所述障碍物模型，是根据所述浮动图像到参考图像之间的几何变换关系(相当于基于上述步骤2得到的校正后地图画面)，在三维空间中重新计算障碍物点、线、面位置、纹理坐标得到的。 [0019] 所述机载定位信息包括经度、维度和高度；所述飞行姿态信息包括俯仰、横滚、偏航数据。 [0020] 相应的，本发明还提出一种机载综合视景系统虚实融合显示系统，包括： [0021] 粗配准模块，用于获取当前机载定位信息以及相应的地图高程数据和正射影像，并结合飞行姿态信息，得出与多模态视频传感器当前帧一致的粗配准地图画面； [0022] 精配准模块，用于以所述粗配准地图画面为浮动图像f，当前多模态视频帧为参考图像fR，根据建立的关于浮动图像与参考图像之间仿射变换的误差能量函数，优化得到亚像素配准精度的校正后地图画面； [0023] 亮度分量融合模块，用于将所述校正后地图画面进行HSV颜色空间分解，获得分解后的色度、饱和度和亮度分量，将其中亮度分量与多模态视频进行图像融合； [0024] HSV分量合并模块，用于将融合后的亮度分量再与彩色视频帧的色度和饱和度分量合并，输出融合结果； [0025] 渲染输出模块，用于将建立的障碍物模型叠加在融合后的图像画面中，渲染并输出虚实融合的综合视景画面。 [0026] 可选地，所述障碍物模型，是通过获取所述精配准模块得到的校正后地图画面，在三维空间中重新计算障碍物点、线、面位置、纹理坐标得到的。 [0027] 相应的，本发明还提出一种机载设备，包括处理器和程序存储器，所述程序存储器存储的程序被处理器加载时执行上述机载综合视景系统虚实融合显示方法。 [0028] 本发明具有以下优点： [0029] 本发明通过实时多模态视频与综合视景三维地图画面，障碍物模型的精确配准和自然融合，输出具有真实颜色和纹理的增强后综合视景系统显示画面，精确指示跑道、危险地形、高大障碍物信息，能够改善飞行员在低能见度条件下(包括雾霾、雨雪、沙尘与夜视条件)对机场跑道、障碍物的空间情景感知能力，进而降低飞机进近着陆过程中的可控飞行撞地、跑道入侵等典型事故，提高飞机的安全性。附图说明 [0030] 图1为本发明的一种机载综合视景系统虚实融合显示方法流程示意图。 [0031] 图2为障碍物模型几何校正流程示意图。具体实施方式 [0032] 以下结合附图和实施例对本发明作进一步详述。 [0033] 为了在综合视景系统输出画面中准确指示跑道、障碍物等关键位置，同时真实显示场景颜色纹理信息，本实施例提出的一种机载综合视景系统虚实融合显示方法，主要分为地图视频配准和图像图形融合两部分，如图1所示。 [0034] 一、地图视频配准部分： [0035] 首先利用机载GPS信息(经度、维度、高度)来查询合成视景三维数字地图数据库，获得机场附近、飞机前视方向一定范围的地图高程数据和正射影像。结合飞行姿态信息(俯仰、横滚、偏航)等外部参数和多模态视频传感器标定得到的主点、焦距等内部参数对地图画面进行透视投影变换，根据计算机视觉中的针孔成像原理绘制与多模态视频传感器当前帧一致的粗配准地图画面。 [0036] 其次，认为地图画面与综合视景实时多模态视频帧满足二维平面仿射变换关系，以地图画面为浮动图像f，多模态视频帧为参考图像fR，建立关于浮动图像与参考图像之间仿射变换的误差能量函数。本实施例中采用归一化总梯度(Normalized Total Gradient,NTG)作为浮动图像与参考图像之间仿射变换的能量函数，即 [0037] [0038] 上式中，为梯度符号，‖·‖1为L1范数。 [0039] 通过迭代法优化求解上述误差能量函数，获取误差能量函数最小情况下的仿射变换参数，即为浮动图像到参考图像之间的几何变换。 [0040] 最终，对浮动图像进行几何变换，获得与参考图像得到亚像素配准精度的校正后地图画面。 [0041] 二、图像图形融合部分： [0042] 首先把配准好的地图画面进行HSV颜色空间分解，获得分解后的色度、饱和度和亮度图像分量。因为多模态视频帧仅有亮度分量，所以对地图画面的亮度分量与多模态视频进行图像融合。在图像融合的过程中，采用基于显著度的融合方法。利用拉普拉斯算子提取图像显著度初始值，再通过导向滤波器对初始显著度图像进行平滑优化后输出融合权重。进一步利用显著度图加权对地图画面亮度分量和多模态图像进行逐像素加权平均并输出亮度分量融合结果。最后，合并融合后的亮度分量与原始彩色视频帧色度和饱和度分量，输出基于图像显著度加权融合的视频帧。 [0043] 更进一步地，根据精确配准的地图画面与多模态视频平面仿射变换关系，在三维空间中重新计算障碍物点、线、面位置、纹理坐标，叠加在融合后的图像画面中，最后利用OpenGL等图形引擎对融合后的多模态视频帧和校正后的障碍物模型进行统一渲染，输出虚实融合的综合视景画面。 [0044] 由于综合视景中多模态视频与地图纹理得到精确配准，平面的跑道画面、立体的障碍物模型得到精确的指示。同时，由于地图画面是在晴朗天气拍摄的清晰图像，具有丰富的色彩和纹理，具有较高的辨识度。通过色彩和纹理的迁移，虚实融合显示的综合视景画面具有更好的可读性。 [0045] 以下再给出一个应用实例： [0046] 在地图视频配准部分，通过机载组合导航设备读取当前视频帧时间点上飞机的经度、纬度，查询三维数字地图数据库，检索当前位置下飞机前视方向10公里、前视多模态摄像机相同视场角以内的三维数字地图高程数据(DEM)和正射影像(DOM)，把当前经度、纬度、高度信息与俯仰、横滚和偏航信息转换到地心地固(ECEF)坐标系中，结合多模态视频传感器与机体坐标系之间的相对旋转平移参数，以及多模态视频传感器的主点、焦距等内部参数，计算虚拟摄像机下的合成视景地图画面。 [0047] 由于导航参数和标定数据误差，虚拟摄像机生成的地图画面与实时成像的视频帧具有一定的配准误差。近似认为上述地图画面与实时视频帧之间满足仿射变换关系，并以地图画面与多模态视频帧所对应的仿射变换参数作为优化对象，以归一化总梯度作为优化参数所构建的误差能量，进行迭代优化，获取精确的仿射变换参数。因为地图画面与多模态视频帧已经得到初始配准，叠代优化过程能够较快收敛，输出准确度亚像素级别配准参数。 [0048] 应用透视变换模型与精确配准模型，能够定位多模态视频帧的任意一个像素点在地图画面中的像素位置。为了防止“留白”等数据缺失现象，采用反向映射插值的方法生成校正后地图画面。对多模态视频上任意一点位置，应用上述几何变换，查询地图画面中的像素位置，并与邻近像素进行双线性插值后得到地图画面对应像素值。最终，通过反向映射后获取精确配准的合成视景虚拟地图画面。 [0049] 在图像图形融合部分，首先对配准后的合成视景虚拟地图画面应用HSV色度、饱和度和亮度分解，提取出单通道的地图画面亮度图像与单通道的多模态图像进行融合。遍历地图画面亮度图像与多模态图像，利用拉普拉斯算子获得粗糙的显著度图像。以地图画面亮度图像为导向图像，对地图画面亮度对应的显著度图像进行导向滤波，输出平滑后的地图画面亮度显著度图像。以多模态视频帧为导向图像，对多模态视频帧显著度图像进行导向滤波，输出平滑后的多模态视频帧显著度图像。之后，对平滑后的地图画面亮度图像对应显著度图像和多模态视频帧显著度图像进行归一化权重计算，数值较高的像素获取较高的权重值。之后，地图画面对应的亮度图像与多模态视频帧图像按照逐像素权重值加权平均，获取融合后的亮度图像。融合后的亮度图像与地图画面色度图像、饱和度图像进行合并，输出融合后的多模态视频帧。 [0050] 在完成图像融合之后，对障碍物三维图形进行几何校正融合。如图2所示，首先获取虚拟障碍物三维图形各个顶点的坐标值，并应用摄像机内部参数与外部参数进行投影变换，投影变换后再应用上一步计算的精确配准仿射变换，获得障碍物三维图形正确显示像素位置。根据像素位置的坐标，查询地图画面中该像素位置对应的经纬度。以查询到的经纬度修正障碍物三维图形各个定点的经纬度数值，并保持高度数值不变，输出校正后的障碍物三维模型。之后，把图像融合后的多模态视频与校正后的障碍物模型一起发送到OpenGL状态机中进行统一图形渲染，输出最终的综合视景系统虚实图像图形融合画面。