本发明公开了一种动目标多尺度多维度红外光谱特征测量方法及系统，属于图像处理、红外光谱测量领域。本发明主要为解决对动目标红外光谱特征测不到，测不准的问题。本发明方法包括：(1)建立目标红外光谱多维度多尺度特征表示公式，从中提取目标红外光谱精确模型。(2)从中提取感兴趣区域精确定位方法，识别感兴趣区域各部件位置信息。(3)从中提取多框架伺服控制方法，解决目标红外光谱测不到问题。本发明将红外光谱数据及图像数据结合进行处理，从而实现测准。
1.一种动目标多维度多尺度红外光谱特征测量方法，其特征在于，包括如下步骤：(1)建立物方目标红外光谱特征多维度多尺度模型，从中提取物方感兴趣区域测量模型；
(2)对实测红外图像进行目标检测，识别目标各感兴趣区域位置信息；跟踪目标获得两帧之间目标像素差以及目标运动方向，然后根据两帧之间目标像素差进行目标运动补偿；
(3)对步骤(2)识别出的目标作扫描，成功捕获跟踪目标图像后，控制内框指向各感兴趣目标，并根据目标运动方向信息，在相对于运动方向偏移90°的方向上作N个像素大小的运动，开启测谱模块，记录此时测量设备与目标之间距离信息，测量方位立体角信息、尺度信息、时间维信息，将上述信息输入步骤(1)获得的物方目标红外光谱特征多维度多尺度模型，得到像方目标红外光谱特征多维度多尺度模型。
2.如权利要求1所述的一种动目标多维度多尺度红外光谱特征测量方法，其特征在于，步骤(1)还包括如下子步骤：(1.1)对需要测量的目标建立三维模型；
(1.2)从三维模型中确定测量目标的感兴趣区域部位，并对上述部位的三维模型进行材质划分，以确定辐射源；
(1.3)对辐射源红外光谱特征进行测量，得到特定角度下物方红外光谱特征分布。
3.如权利要求2所述的一种动目标多维度多尺度红外光谱特征测量方法，其特征在于，物方的目标红外光谱辐射测量特性表达如下：Frad(x,y,z,ω,S,T) (1)
其中，Frad()表示目标在地球坐标系下位置(x,y,z)、测量角度ω、尺度S、时间维度T的情况下目标的辐射强度；
作为点状、斑状目标的辐射测量特性frad1表达如下：
其中， 为测量仪器所处的方位立体角，λ为红外光谱变量，r为测量仪器与目标的距离；
其中，为目标空间分布，为测量仪器所处的方位立体角，λ为红外光谱变量，r为测量仪器与目标的距离。
4.如权利要求1所述的一种动目标多维度多尺度红外光谱特征测量方法，其特征在于，步骤(2)包括如下子步骤：(2.1)对输入的实测红外图像进行多线程操作，包括：
线程1：超像素分割获得天空背景、地面背景以及目标区域，根据分割结果测量目标面积、灰度特征识别背景区域，作为负样本；
线程2：提取全图HOG特征，根据滑动窗口方法区分背景与目标区域，获得疑似目标，作为正样本；
线程3：利用全卷积神经网络，对输入图像检测出目标，作为正样本；
(2.2)将上述线程得到的结果，输入已预先训练好的支持向量机分类器中获得目标图像位置信息(x,y)；
(2.3)对目标图像做高斯金字塔获得图像多尺度信息后输入已训练的卷积神经网络，获得目标各感兴趣区域相对于目标中心位置的像素差(▽x,▽y)；
(2.4)按照步骤(2.2)检测出两帧目标图像位置信息并进行处理，获得两帧图像目标的帧差、运动目标方向信息；按照步骤(2.3)得到的两帧之间目标像素差进行目标运动补偿。
5.用于权利要求1所述的一种动目标多维度多尺度红外光谱特征测量方法的测量系统，其特征在于，包括：工控机、转镜、分光镜、中波镜头、长波镜头、非成像红外光谱测量单元、长波红外成像单元；工控机的控制接口连接转镜；中波镜头安装在非成像红外光谱测量单元上，非成像红外光谱测量单元的输出端连接工控机的输入端；长波镜头安装在长波红外成像单元上，长波红外成像单元的输出端连接工控机的输入端；
其中，转镜用于将感兴趣目标的光线反射给分光镜，分光镜用于将接收到的反射光线分成中波和长波分别传递给中波镜头和长波镜头，再分别通过中波镜头和长波镜头传递给非成像红外光谱测量单元和长波红外成像单元进行处理；非成像红外光谱测量单元用于将接收到的中波处理成红外光谱数据并传输到工控机；长波红外成像单元用于将接收到的长波处理成图像数据并传输到工控机；工控机用于控制转镜的转向，以及处理接收到的红外光谱数据和图像数据，得到动目标多维度多尺度红外光谱特征。
6.如权利要求5所述的测量系统，其特征在于，转镜采用四框伺服控制，包括由内到外依次设置的反射镜、内俯仰框、内方位框、外俯仰框、外方位框。
一种动目标多维度多尺度红外光谱特征测量方法及系统
技术领域
[0001] 本发明属于图像处理、运动控制、红外光谱特征的交叉领域，具体涉及一种动目标多维度多尺度红外光谱特征测量方法及系统。
背景技术
[0002] 成像红外光谱仪是遥感发展的成就之一，人类利用光学技术对目标识别的方法主要有光学成像技术和光学成谱技术。光学成像技术主要获取目标的几何特征、灰度特征。但单一的图像信息无法获取目标成分红外光谱信息，在低空条件下无法进行定性分析，在太空环境下无法进行定量分析。红外光谱分析技术是根据红外光谱学相关原理获得目标成分、状态信息，但是缺乏目标图像特征信息。成像红外光谱仪器将成像和成谱技术结合起来，可以获取目标的图像特征，以及目标红外光谱特征。因此在20世纪八十年代提出成像红外光谱仪，将成像和成谱技术结合的测量设备，目前设备主要缺点是无效红外光谱数据量过大，无法实时处理红外光谱数据，目标红外光谱与背景红外光谱混杂，无法精确获取目标红外光谱特征。
发明内容
[0003] 本发明旨在提供一种能够克服红外光谱成像仪器无法实时获取目标多维度多尺度信息、无法满足获取目标精确特征模型的缺点的红外光谱特征测量方法。
[0004] 为了实现上述目的，本发明提供了一种动目标多维度多尺度红外光谱特征测量方法，包括如下步骤：
[0005] (1)建立物方目标红外光谱特征多维度多尺度模型，从中提取物方感兴趣区域测量模型；
[0006] (2)对实测红外图像进行目标检测，识别目标各感兴趣区域位置信息；跟踪目标获得两帧之间目标像素差以及目标运动方向，然后根据两帧之间目标像素差进行目标运动补偿；
[0007] (3)对步骤(2)识别出的目标作扫描，成功捕获跟踪目标图像后，控制内框指向各感兴趣目标，并根据目标运动方向信息，在相对于运动方向偏移90°的方向上作N个像素大小的运动，开启测谱模块，记录此时测量设备与目标之间距离信息，测量方位立体角信息、尺度信息、时间维信息，将上述信息输入步骤(1)获得的物方目标红外光谱特征多维度多尺度模型，得到像方目标红外光谱特征多维度多尺度模型。
[0008] 进一步地，步骤(1)还包括如下子步骤：
[0009] (1.1)对需要测量的目标建立三维模型；
[0010] (1.2)从三维模型中确定测量目标的感兴趣区域部位，并对上述部位的三维模型进行材质划分，以确定辐射源；
[0011] (1.3)对辐射源红外光谱特征进行测量，得到特定角度下物方红外光谱特征分布。
[0012] 进一步地，物方的目标红外光谱辐射测量特性表达如下：
[0013] Frad(x,y,z,ω,S,T) (1)
[0014] 其中，Frad()表示目标在地球坐标系下位置(x,y,z)、测量角度ω、尺度S、时间维度T的情况下目标的辐射强度；
[0015] 像方的目标辐射测量特性函数有如下两种情况：
[0016] 作为点状、斑状目标的辐射测量特性frad1表达如下：
[0017] frad1＝frad(θ,λ,r) (2)
[0018] 其中，为测量仪器所处的方位立体角，λ为红外光谱变量，r为测量仪器与目标的距离；
[0019] 作为面目标的辐射测量特性frad2表达如下：
[0020]
[0021] 其中，为目标空间分布， 为测量仪器所处的方位立体角，λ为红外光谱变量，r为测量仪器与目标的距离。
[0022] 进一步地，步骤(2)包括如下子步骤：
[0023] (2.1)对输入的实测红外图像进行多线程操作，包括：
[0024] 线程1：超像素分割获得天空背景、地面背景、目标区域等，根据分割结果并测量目标面积、灰度特征识别背景区域，作为负样本；
[0025] 线程2：提取全图HOG特征，根据滑动窗口方法区分背景与目标区域，获得疑似目标，作为正样本；
[0026] 线程3：利用全卷积神经网络，对输入图像检测出目标，作为正样本；
[0027] (2.2)将上述线程得到的结果，输入已预先训练好的支持向量机分类器中获得目标图像位置信息(x,y)；
[0028] (2.3)对目标图像做高斯金字塔获得图像多尺度信息后输入已训练的卷积神经网络，获得目标各感兴趣区域相对于目标中心位置的像素差(▽x,▽y)；
[0029] (2.4)按照步骤(2.2)检测出两帧目标图像位置信息并进行处理，获得两帧图像目标的帧差、运动目标方向信息；按照步骤(2.3)得到的两帧之间目标像素差进行目标运动补偿。
[0030] 为了实现上述目的，本发明还提供了用于上述测量方法的测量系统，其特征在于，包括：工控机、转镜、分光镜、中波镜头、长波镜头、非成像红外光谱测量单元、长波红外成像单元；工控机的控制接口连接转镜；中波镜头安装在非成像红外光谱测量单元上，非成像红外光谱测量单元的输出端连接工控机的输入端；长波镜头安装在长波红外成像单元上，长波红外成像单元的输出端连接工控机的输入端；
[0031] 其中，转镜用于将感兴趣目标的光线反射给分光镜，分光镜用于将接收到的反射光线分成中波和长波分别传递给中波镜头和长波镜头，再分别通过中波镜头和长波镜头传递给非成像红外光谱测量单元和长波红外成像单元进行处理；非成像红外光谱测量单元用于将接收到的中波处理成红外光谱数据并传输到工控机；长波红外成像单元用于将接收到的长波处理成图像数据并传输到工控机；工控机用于控制转镜的转向，以及处理接收到的红外光谱数据和图像数据，得到动目标多维度多尺度红外光谱特征。
[0032] 进一步地，转镜采用四框伺服控制，包括由内到外依次设置的反射镜、内俯仰框、内方位框、外俯仰框、外方位框。
[0033] 与现有技术相比，本发明通过预先建立三维模型，并将三维模型与实测处理后的红外光谱结合、对比，建立目标红外光谱多维度多尺度特征表示公式，提出目标红外光谱精确模型，提出感兴趣目标精确定位方法，识别感兴趣目标各部件位置，解决现有目标红外光谱特征表达不完整、不准确以及红外光谱测不到、测不准的问题。
附图说明
[0034] 图1为本发明的总体流程图；
[0035] 图2为F16战斗机红外仿真图像；
[0036] 图3为8μm～14μm波段，1.25米分辨率的F16飞机仿真图像库部分图像；
[0037] 图4为飞机感兴趣区域标记图；
[0038] 图5为飞机红外光谱特征组成图；
[0039] 图6为通过不同方位角测得的飞机红外光谱数据图；
[0040] 图7为多框架伺服结构图；
[0041] 图8为系统结构示意图；
[0042] 图9为实际红外图感兴趣区域检测结果图；
[0043] 图10为红外扫描示意图；
[0044] 图11为实际红外图跟踪测谱结果图。
具体实施方式
[0045] 为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
[0046] 请参照图1，为本发明的总体流程图。本发明包括如下步骤：
[0047] (1)建立物方目标红外光谱特征多维度多尺度模型，从中提取感兴趣区域测量的过程模型。此模型主要目的为满足目标精确测谱需求。
[0048] (1.1)对需要测量的目标建立三维模型；
[0049] (1.2)确定测量目标的感兴趣区域部位，并对三维模型进行材质划分。对于立体目标而言，目标每个点(x,y,z)都有红外光谱特征，每个点都有温度，发射率可能不同，对于时敏目标而言，目标发生运动会导致目标红外光谱特征改变。以飞机为例，建模如图4所示，其红外光谱特征的辐射源主要包括，反射太阳辐射、反射地球辐射、发动机进气部件辐射、气动加热的蒙皮辐射、发动机热部件辐射、尾焰辐射。各感兴趣区域测量红外光谱如图5所示。
[0050] (1.3)根据飞机辐射源红外光谱特征分布测量获得数据，可得到特定角度下飞机红外光谱特征分布，从不同角度测量目标红外光谱，可得到不同角度下目标红外光谱特征，由图6所示，可知飞机的红外光谱特性在不同的观测方位角上变化很大。
[0051] 物方的飞机目标辐射特性可表达为：
[0052] Frad(x,y,z,ω,S,T) (1)
[0053] 上式表明飞机目标是三维的，不同部位具有随空间位置不同的温度分布和辐射特性。其中Frad()表示目标在地球坐标系下位置(x,y,z)、测量角度ω、尺度S、时间维度T的情况下目标的辐射强度。
[0054] 由实际实验结果，像方的飞机目标辐射测量特性函数有如下两种情况。
[0055] 作为点状、斑状目标的辐射测量特性frad1，与测量仪器所处的方位角θ有关，可随方位角变化。空间平均辐射亮度(辐射强度)特性：
[0056]
[0057] 式中， 为测量的方位立体角，λ为红外光谱变量，r为距离。
[0058] 作为面目标的辐射测量特性frad2与测量方位、目标空间分布相关，随距离变化，随方位角度 变化。目标空间分布 变化的辐射亮度特性：
[0059]
[0060] (2)对实测红外图像进行目标检测，识别目标各区域位置信息。跟踪目标获得两帧之间目标像素差以及获得目标运动方向，根据两帧之间目标像素差控制两轴四框架伺服进行目标运动补偿。
[0061] 启动对输入图像进行多线程操作，执行步骤如下：
[0062] 线程1：超像素分割获得天空背景、地面背景、目标区域等，根据分割结果并测量目标面积、灰度特征识别背景区域，作为负样本。
[0063] 线程2：提取全图HOG特征(方向梯度直方图，Histogram of Oriented Gradient，HOG)，根据滑动窗口方法区分背景与目标区域，获得疑似目标，作为正样本。
[0064] 线程3：利用全卷积神经网络，对输入图像检测出目标，作为正样本。
[0065] 将上述线程得到的结果，输入已预先训练好的SVM分类器中获得目标图像位置信息(x,y)；其中SVM分类器部分训练样本如图2，3所示。实际检测效果如图9所示。SVM全称为Support Vector Machine，支持向量机。
[0066] 对目标图像执行如下操作：输入目标图像，对图像做高斯金字塔获得图像多尺度信息后输入已训练的CNN网络(卷积神经网络，Convolutional Neural Network，CNN)，获得目标各感兴趣区域相对于目标中心位置的像素差(▽x,▽y)；
[0067] 检测出目标位置后，启动目标跟踪模块，获得两帧图像目标的帧差、运动目标方向信息。
[0068] 本系统伺服采用四框架结构伺服系统，其转镜结构示意图如图7所示，图中外框负责大范围目标捕获跟踪；具体为外框对运动目标作运动补偿，将两帧图像间目标运动像素差输入伺服控制系统，控制系统快速响应误差输入，对运动目标作运动补偿，使目标始终位于视场中心位置。
[0069] (3)启动伺服内框跟踪系统，对目标作扫描。
[0070] 成功捕获跟踪目标图像后，控制内框指向各感兴趣目标，并根据目标运动方向信息，在相对于运动方向90°的方向上作N个像素大小的偏移运动，即，扫描方向与运动方向相同，每扫描一次之后，垂直于运动方向偏移N个像素，然后再沿运动方向继续扫描；开启测谱模块，记录此时测量设备与目标之间距离信息，测量方位立体角信息、尺度信息、时间维信息，将上述信息输入步骤(1)获得的目标红外光谱特征多维度多尺度模型，得到最终的目标红外光谱模型，扫描示意图如图10，实际效果图如图11所示。
[0071] 本发明还提出一种测量系统，即用于实现上述方法、能够将图像信息、红外光谱信息结合的图谱一体化的目标跟踪测谱系统，该系统结构示意图如图8所示。根据目标多维度多尺度红外光谱模型测量目标红外光谱信息。该设备通过成像系统获取目标的感兴趣区域(ROI，region of interest)位置信息、运动信息，控制多框架两轴伺服进行目标运动补偿，扫描目标特定区域获得目标红外光谱，建立目标红外光谱模型。主要应用于时敏目标识别。
[0072] 本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
