一种机载多模态视频画面增强显示方法及系统

IPRDB

API 数据接口

专利申请

使用指引 chat嘟嘟

会员体验

联系我们

交流群

现在联系顾问~

一种机载多模态视频画面增强显示方法及系统
申请号	CN202010003148.6	申请日	2020-01-02	公开(公告)号	CN111192229B	公开(公告)日	2023-10-13
申请人	中国航空工业集团公司西安航空计算技术研究所;			发明人	程岳; 李亚晖; 韩伟; 文鹏程; 刘作龙; 余冠锋;
摘要	本发明属于机载图形图像处理领域，涉及一种机载多模态视频画面增强显示方法及系统。该方法通过实时多模态视频与彩色视频的亚像素精度匹配，并在图像亮度空间基于显著度信息加权融合两类视频源，进而在色度和饱和度空间把彩色视频信息迁移到多模态视频信息中，实现了多模态视频与彩色视频两类数据的有机融合，使得融合视频即保留了多模态视频的实时特性，又加入了符合飞行员观测的丰富彩色视频颜色纹理信息，增强了机载多模态视频画面的可读性。本发明能够改善飞行员在低能见度条件下对机场跑道、障碍物的空间情景感知能力，进而降低飞机进近着陆过程中的可控飞行撞地、跑道入侵等典型事故，提高飞机的安全性。
权利要求	1.一种机载多模态视频画面增强显示方法，其特征在于，包括：获取预先采集记录的进近过程中所拍摄的清晰彩色视频和实时的多模态视频；根据当前机载定位信息和飞行姿态信息，截取预先采集记录的对应彩色视频帧，将其平移缩放到当前多模态视频帧的尺度和位置进行粗配准；所述粗配准，具体是利用组合导航系统输出的当前飞机的经度、纬度、高度、俯仰、横滚和偏航数据，依次定位查询预先采集记录的彩色视频帧位置；利用摄像机内部参数对彩色视频帧进行缩放平移，使其与当前实时多模态视频帧画面粗配准；以彩色视频帧为浮动图像，多模态视频帧为固定图像，基于建立的关于浮动图像与固定图像之间仿射变换的误差能量函数，通过参数优化，对浮动图像进行几何变换，实现优化配准；将配准好的彩色视频帧进行HSV颜色空间分解，获得分解后的色度、饱和度和亮度分量；将彩色视频帧的亮度分量与多模态视频帧进行图像融合；所述图像融合，具体是采用基于显著度的融合方法，在彩色视频帧亮度分量图像和多模态视频帧中逐像素应用拉普拉斯算子，得到初始显著度图像；再对初始显著度图像进行导向滤波后，输出平滑的显著度图像；以显著度图像亮度值作为加权权重，对彩色视频帧的亮度分量和多模态视频帧进行逐像素加权平均，输出融合后的亮度分量；将融合后的亮度分量再与彩色视频帧的色度和饱和度分量合并，输出融合结果。 2.根据权利要求1所述的机载多模态视频画面增强显示方法，其特征在于：所述机载定位信息包括经度、维度和高度；所述飞行姿态信息包括俯仰、横滚和偏航数据。 3.根据权利要求1所述的机载多模态视频画面增强显示方法，其特征在于：所述优化配准，具体是以归一化总梯度(NTG)作为仿射变换的误差能量函数进行迭代优化，输出精确的彩色视频帧与实时多模态视频帧之间的几何变换关系；以优化后的仿射变换参数对彩色视频帧进行几何变换，使其与实时多模态视频帧获得亚像素级别的精确配准效果。 4.一种机载多模态视频画面增强显示系统，其特征在于，包括：视频获取模块，用于获取预先采集记录的进近过程中所拍摄的清晰彩色视频和实时的多模态视频；图像配准模块，用于根据当前机载定位信息和飞行姿态信息，截取预先采集记录的对应彩色视频帧，将其平移缩放到当前多模态视频帧的尺度和位置进行粗配准；然后以彩色视频帧为浮动图像，多模态视频帧为固定图像，根据建立的关于浮动图像与固定图像之间仿射变换的误差能量函数，对浮动图像进行几何变换，实现优化配准；所述粗配准，具体是利用组合导航系统输出的当前飞机的经度、纬度、高度、俯仰、横滚和偏航数据，依次定位查询预先采集记录的彩色视频帧位置；利用摄像机内部参数对彩色视频帧进行缩放平移，使其与当前实时多模态视频帧画面粗配准；亮度图像分量融合模块，用于将配准好的彩色视频帧进行HSV颜色空间分解，获得分解后的色度、饱和度和亮度分量；将彩色视频帧的亮度分量与多模态视频帧进行图像融合；所述图像融合，具体是采用基于显著度的融合方法，在彩色视频帧亮度分量图像和多模态视频帧中逐像素应用拉普拉斯算子，得到初始显著度图像；再对初始显著度图像进行导向滤波后，输出平滑的显著度图像；以显著度图像亮度值作为加权权重，对彩色视频帧的亮度分量和多模态视频帧进行逐像素加权平均，输出融合后的亮度分量；图像合并输出模块，用于将融合后的亮度分量再与彩色视频帧的色度和饱和度分量合并，输出融合结果。 5.根据权利要求4所述的机载多模态视频画面增强显示系统，其特征在于：所述优化配准，具体是以归一化总梯度(NTG)作为仿射变换的误差能量函数进行迭代优化，输出精确的彩色视频帧与实时多模态视频帧之间的几何变换关系；以优化后的仿射变换参数对彩色视频帧进行几何变换，使其与实时多模态视频帧获得亚像素级别的精确配准效果。 6.一种机载设备，包括处理器和程序存储器，其特征在于，所述程序存储器存储的程序被处理器加载时执行权利要求1所述机载多模态视频画面增强显示方法。
说明书全文	一种机载多模态视频画面增强显示方法及系统技术领域 [0001] 本发明属于机载图形图像处理领域，涉及一种机载多模态视频画面增强显示方法。背景技术 [0002] 综合视景系统(CVS),通过多模态视频与三维数字地图融合，在飞行进近阶段，为飞行员提供机场跑道、危险地形与障碍物的等效目视视频画面信息。它综合了合成视景系统(SVS)大视场、高分辨率、真彩色的优点以及增强视景系统(EVS)实时多模态(长波红外、短波红外与毫米波)视频画面的优点。虚实融合的CVS实时视景信息显著提升飞行员情景意识，增强飞行安全性。 [0003] 传统的综合视景系统中，由于固有的导航参数、传感器标定等误差，合成视景画面与增强视景画面有一定的不匹配，一般采用“画中画”的方式在合成视景虚拟画面中嵌入多模态视频画面。因此，在综合视景系统输出画面中，多模态视频部分基本呈现的是单色的实时视频传感器信息，缺乏可以辨识的真实颜色信息和细节信息。 [0004] 为了增强综合视景系统中多模态视频画面显示内容，主要采用虚拟生成的线框、文字、色块来标注跑道和障碍物信息。同样，由于几何误差的存在，综合视景系统计算得到的标示信息与实际位置存在误差，对飞行员造成困扰。发明内容 [0005] 本发明提出一种机载多模态视频画面增强显示方法，旨在提升综合视景多模态视频的可读性。 [0006] 本发明的技术方案如下： [0007] 该机载多模态视频画面增强显示方法，包括： [0008] 获取预先采集记录的进近过程中所拍摄的清晰彩色视频和实时的多模态视频； [0009] 根据当前机载定位信息和飞行姿态信息，截取预先采集记录的对应彩色视频帧，将其平移缩放到当前多模态视频帧的尺度和位置进行粗配准； [0010] 以彩色视频帧为浮动图像，多模态视频帧为固定图像，基于建立的关于浮动图像与固定图像之间仿射变换的误差能量函数，通过参数优化，对浮动图像进行几何变换，实现优化配准(获得与固定图像之间的亚像素配准关系)； [0011] 将配准好的彩色视频帧进行HSV颜色空间分解，获得分解后的色度、饱和度和亮度分量；将彩色视频帧的亮度分量与多模态视频帧进行图像融合； [0012] 将融合后的亮度分量再与彩色视频帧的色度和饱和度分量合并，输出融合结果。 [0013] 可选地，所述机载定位信息包括经度、维度和高度；所述飞行姿态信息包括俯仰、横滚和偏航数据。 [0014] 可选地，所述粗配准，具体是利用组合导航系统输出的当前飞机的经度、纬度、高度、俯仰、横滚和偏航数据，依次定位查询预先采集记录的彩色视频帧位置；利用摄像机内部参数对彩色视频帧进行缩放平移，使其与当前实时多模态视频帧画面粗配准。 [0015] 可选地，所述优化配准，具体是以归一化总梯度(NTG)作为仿射变换的误差能量函数(优化目标函数)进行迭代优化，输出精确的彩色视频帧与实时多模态视频帧之间的几何变换关系；以优化后的仿射变换参数对彩色视频帧进行几何变换，使其与实时多模态视频帧获得亚像素级别的精确配准效果。 [0016] 可选地，所述图像融合，具体是采用基于显著度的融合方法，在彩色视频帧亮度分量图像和多模态视频帧中逐像素应用拉普拉斯算子，得到初始显著度图像；再对初始显著度图像进行导向滤波后，输出平滑的显著度图像；以显著度图像亮度值作为加权权重，对彩色视频帧的亮度分量和多模态视频帧进行逐像素加权平均，输出融合后的亮度分量。 [0017] 相应的，本发明还提出一种机载多模态视频画面增强显示系统，包括： [0018] 视频获取模块，用于获取预先采集记录的进近过程中所拍摄的清晰彩色视频和实时的多模态视频； [0019] 图像配准模块，用于根据当前机载定位信息和飞行姿态信息，截取预先采集记录的对应彩色视频帧，将其平移缩放到当前多模态视频帧的尺度和位置进行粗配准；然后以彩色视频帧为浮动图像，多模态视频帧为固定图像，根据建立的关于浮动图像与固定图像之间仿射变换的误差能量函数，对浮动图像进行几何变换，实现优化配准(获得与固定图像之间的亚像素配准关系)； [0020] 亮度图像分量融合模块，用于将配准好的彩色视频帧进行HSV颜色空间分解，获得分解后的色度、饱和度和亮度分量；将彩色视频帧的亮度分量与多模态视频帧进行图像融合； [0021] 图像合并输出模块，用于将融合后的亮度分量再与彩色视频帧的色度和饱和度分量合并，输出融合结果。 [0022] 相应的，本发明还提出一种机载设备，包括处理器和程序存储器，所述程序存储器存储的程序被处理器加载时执行上述机载多模态视频画面增强显示方法。 [0023] 本发明具有以下优点： [0024] 本发明通过配准融合实时多模态视频画面与预先记录的清晰彩色视频画面，增强图像的颜色信息和纹理信息，输出符合具有真实颜色和纹理的增强后视频画面，能够改善飞行员在低能见度条件下(包括雾霾、雨雪、沙尘与夜视条件)对机场跑道、障碍物的空间情景感知能力，进而降低飞机进近着陆过程中的可控飞行撞地、跑道入侵等典型事故，提高飞机的安全性。附图说明 [0025] 图1为本发明的一个实施例流程示意图。具体实施方式 [0026] 以下结合附图和实施例详细介绍本发明。 [0027] 为了满足亚像素级别的配准精度和颜色纹理优化的多模态图像融合输出画面，本实施例提出的一种机载多模态视频画面增强显示方法，如图1所示，主要包括精确配准和加权融合两部分。 [0028] 在精确配准部分： [0029] 首先利用机载GPS信息(经度、维度、高度)、飞行姿态信息(俯仰、横滚、偏航)来查询预先记录的进近过程中所拍摄的清晰彩色视频帧。从200英尺到100英尺的飞行进近过程，基本上都是按照固定的航线飞行，通过GPS和惯性导航设备获取的摄像机外部参数定位与当前多模态视频帧一致的预先记录彩色视频帧。同时通过彩色视频帧对应的摄像机内部参数以及多模态视频对应的摄像机内部参数能够把彩色视频帧平移缩放到多模态图像的尺度和位置获得粗配准效果。此时，多模态图像与彩色图像之间的位置偏差较小，可以近似认为仿射变换。 [0030] 其次，以彩色视频帧为浮动图像f，多模态视频帧为固定图像fR，建立关于浮动图像与固定图像之间仿射变换的误差能量函数。本实施例中采用归一化总梯度(Normalized Total Gradient,NTG)作为浮动图像与固定图像之间仿射变换的误差能量函数，即[0031] [0032] 上式中，为梯度符号，‖·‖1为L1范数。 [0033] 通过迭代法优化求解上述误差能量函数，获取误差能量函数最小情况下的仿射变换参数，即为浮动图像到固定图像之间的几何变换。最终，通过对浮动图像进行几何变换，获得与固定图像之间的亚像素配准关系。 [0034] 在加权融合部分： [0035] 首先把配准好的彩色视频帧进行HSV颜色空间分解，获得分解后的色度、饱和度和亮度图像分量。因为多模态视频帧仅有亮度分量，因此对彩色视频帧的亮度分量与多模态视频帧进行图像融合。在图像融合的过程中，采用基于显著度的融合方法。利用拉普拉斯算子提取图像显著度初始值，再通过导向滤波器对初始显著图进行平滑优化后输出融合权重。进一步利用显著度图加权对彩色图像亮度分量和多模态图像进行逐像素加权平均并输出亮度分量融合结果。最后，合并融合后的亮度分量与原始彩色视频帧色度和饱和度分量，输出融合结果。 [0036] 由于彩色视频是在晴朗天气拍摄的清晰视频，具有丰富的色彩和纹理，具有较高的辨识度。通过色彩和纹理的迁移，多模态视频得到显著增强，输出增强后的画面具有更好的可读性。 [0037] 如图1所示，本实施例的具体实现步骤如下： [0038] 1)获取预先采集记录的进近过程中所拍摄的清晰彩色视频和实时的多模态视频。 [0039] 2)根据当前机载定位信息和飞行姿态信息，截取预先采集记录的对应彩色视频帧，将其平移缩放到当前多模态视频帧的尺度和位置进行粗配准。具体是：通过机载组合导航设备读取飞机的经度、纬度、高度、俯仰、横滚和偏航等位置姿态数据，首先利用经度、纬度和高度数据查询预先记录的彩色视频所对应的导航数据，选取经度、纬度和高度匹配的时间点，并以该时间点为中心前后扩展一定范围后，再利用俯仰、横滚和偏航数据匹配彩色视频对应的姿态数据，定位到准确的时间点；在定位到视频匹配时间点后，截取彩色视频对应帧画面作为待匹配融合视频帧；读取彩色摄像机和多模态摄像机对应的相机内部参数，包括焦距、主点、畸变参数，对待匹配彩色视频进行缩放平移，使其对应的焦距与多模态视频焦距相同，主点位置与多模态视频主点相同；此时彩色视频帧与多模态视频帧获得粗配准。 [0040] 3)以彩色视频帧为浮动图像，多模态视频帧为固定图像，基于建立的关于浮动图像与固定图像之间仿射变换的误差能量函数，通过参数优化，对浮动图像进行几何变换，实现优化配准。具体是：认为以上粗配准的彩色视频帧与多模态视频帧近似满足仿射变换关系，对彩色视频帧与多模态视频帧所对应的仿射变换参数作为优化对象，以归一化总梯度作为优化参数所构建的误差能量，进行迭代优化，获取精确的仿射变换参数。因为多模态视频帧与彩色视频帧已经得到初始配准，叠加优化过程能够较快收敛，输出准确度亚像素级别配准参数。对彩色视频帧应用上述几何变换，获得配准后的彩色视频帧。 [0041] 4)将配准好的彩色视频帧进行HSV颜色空间分解，获得分解后的色度、饱和度和亮度分量；将彩色视频帧的亮度分量与多模态视频帧进行图像融合。具体是：首先对应用上述几何变换后的彩色视频帧进行色度、饱和度和亮度分解，提取出单通道的彩色视频帧亮度图像与单通道的多模态图像进行融合。遍历彩色视频帧亮度图像与多模态图像，利用拉普拉斯算子获得粗糙的显著度图像。以彩色视频帧亮度图像为导向图像，对彩色视频帧显著度图像进行导向滤波，输出平滑后的彩色视频帧显著度图像。以多模态视频帧为导向图像，对多模态视频帧显著度图像进行导向滤波，输出平滑后的多模态视频帧显著度图像。之后，对平滑后的彩色视频帧显著度图像和多模态视频帧显著度图像进行归一化权重计算，数值较高的像素获取较高的权重值。之后，彩色视频帧亮度图像与多模态视频帧图像按照逐像素权重值加权平均，获取融合后的亮度图像分量。 [0042] 5)将融合后的亮度分量再与彩色视频帧的色度和饱和度分量合并，输出融合后的视频帧。