一种在线提取视频卫星数据鉴别特征的方法转让专利

申请号 : CN202010881676.1

文献号 : CN111931689B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 吕京国曹逸飞运则辉耿宇

申请人 : 北京建筑大学

摘要 :

本发明公开了一种在线提取视频卫星数据鉴别特征的方法,涉及视频卫星数据图像处理技术领域;本发明中提取鉴别特征的方法通过获取视频卫星数据的图像,对获取到的图像进行数据标注,然后将数据标注后的标注区域作为鉴别特征提取范围,在线训练对称语义分割模型,采用训练后的对称语义分割模型和自编码网络模型提取鉴别特征。该方法不仅有效减少前向传播过程中造成的像素信息损失,准确定位图像的分割边界;同时自编码网络模型自动地从无标注数据中学习特征,当视频卫星数据通过神经网络前向传播得到中高层的语义信息后,可借助自编码网络进行语义信息压缩与还原得到更加清晰的特征描述,从而扩大不同背景间的差异,达到更好的分割背景的效果。

权利要求 :

1.一种在线提取视频卫星数据鉴别特征的方法,其特征在于,获取视频卫星数据的图像,对获取到的图像进行数据标注,然后将数据标注后的标注区域作为鉴别特征提取范围,在线训练对称语义分割模型,采用训练后的对称语义分割模型和自编码网络模型提取鉴别特征,具体包括以下步骤:

S1,采用UC‑MERCED数据集在线训练对称语义分割模型,以便更有效地获取到视频卫星数据中的影像特征;

S2,利用训练后的对称语义分割模型对视频卫星数据进行语义分割,得到一系列的影像特征图,最终分割成具有一定语义含义的区域块,并识别出每个区域块的语义类别,从而得到具有逐像素语义标注的分割图像;

S3,建立特征筛选机制,根据标注区域目标模板,从分割图像中筛选出含有语义的目标影像特征;

S4,将目标影像特征通过自编码网络模型进行语义信息优化与重构,得到与背景不一致的、目标的专属特征,从而提取得到视频卫星数据中目标的鉴别特征。

2.根据权利要求1所述的在线提取视频卫星数据鉴别特征的方法,其特征在于,步骤S1中具体包括:

S11,选取UC‑MERCED数据集,所述UC‑MERCED数据集中包括多种地物分类;

S12,对UC‑MERCED数据集中的地物类别进行选择,有针对性地在线训练对称语义分割模型;

S13,最终获取已训练后的对称语义分割模型进入步骤S2。

3.根据权利要求2所述的在线提取视频卫星数据鉴别特征的方法,其特征在于,步骤S13中所述已训练后的对称语义分割模型包括特征提取部分和上采样部分,所述特征提取部分利用下采样方式逐渐展现背景信息,所述上采样部分结合下采样过程中生成的特征图和上一次上采样生成的特征图还原细节信息,逐步还原至原图像精度,最后通过分类器输出不同分类的最大值,得到最终分割结果。

4.根据权利要求1所述的在线提取视频卫星数据鉴别特征的方法,其特征在于,步骤S3中具体包括:

利用SIFT特征匹配算法,将标注区域目标模板与分割图像中的区域块进行匹配,进行特征点提取;

具体为:建立特征筛选机制,取标注区域目标模板中的一个SIFT关键点,并找出其与分割图像中欧式距离最近的前两个关键点,在这两个关键点中,如果最近的距离除以次近的距离得到的比率ratio少于某个阈值T,则认定该目标模板中的所述SIFT关键点和分割图像中与其欧氏距离最近的关键点为一对匹配点,否则剔除这对匹配点,从而筛选出含有语义的目标影像特征。

5.根据权利要求4所述的在线提取视频卫星数据鉴别特征的方法,其特征在于,所述阈值T取值为0.55,既保证匹配点数目多,又保证匹配精度相对高。

6.根据权利要求1所述的在线提取视频卫星数据鉴别特征的方法,其特征在于,所述自编码网络模型包括编码器和解码器,所述自编码网络模型中编码和解码的过程为:其中,x和 分别为输入和输出数据;y为网络学习的特征表达;W1和W2分别为编码和解码网络的权重;b1和b2分别表示隐藏层和输出层的单元偏置;f和g表示激活函数。

说明书 :

一种在线提取视频卫星数据鉴别特征的方法

技术领域

[0001] 本发明涉及图像处理技术领域,尤其涉及一种在线提取视频卫星数据鉴别特征的方法。

背景技术

[0002] 机器学习与计算机视觉应用领域普遍认为,机器理解世界有两种主流方式:“相似式”与“鉴别式”。虽然现有技术中利用深度学习理论对地面视频的图像进行检测处理已有
成熟应用。但由于视频卫星数据与地面视频数据有本质不同,其中包括拍摄角度不同、观测
角度不同、传感器搭载平台不同、空间分辨率不同、成像方式不同以及图像对比度不同,因
而无法将计算机视觉应用领域的图像处理方法直接应用到视频卫星中。
[0003] 在现有视频图像检测处理技术方面,典型深度学习模型往往根源于“相似式”学习,注重目标自身特征的表示。而“鉴别式”学习,也注重目标特征,但此目标特征,是与背景
不一致的、目标的专属特征,即鉴别特征。“鉴别特征”对于图像识别过程有着重要意义,目
前对于“鉴别式”的学习应用相对而言较少。因此如何提高鉴别特征提取效率,准确提取出
视频卫星数据的鉴别特征,将鉴别特征有效应用在图像处理过程,对视频对象中图像识别
或目标检测具有重要意义。

发明内容

[0004] 本发明的目的在于提供一种在线提取视频卫星数据鉴别特征的方法,从而解决现有技术中存在的前述问题。
[0005] 为了实现上述目的,本发明采用的技术方案如下:
[0006] 一种在线提取视频卫星数据鉴别特征的方法,获取视频卫星数据的图像,对获取到的图像进行数据标注,然后将数据标注后的标注区域作为鉴别特征提取范围,在线训练
对称语义分割模型,采用训练后的对称语义分割模型和自编码网络模型提取鉴别特征,具
体包括以下步骤:
[0007] S1,采用UC‑MERCED数据集在线训练对称语义分割模型,以便更有效地获取到视频卫星数据中的影像特征;
[0008] S2,利用训练后的对称语义分割模型对视频卫星数据进行语义分割,得到一系列的影像特征图,最终分割成具有一定语义含义的区域块,并识别出每个区域块的语义类别,
从而得到具有逐像素语义标注的分割图像;
[0009] S3,建立特征筛选机制,根据标注区域目标模板,从分割图像中筛选出含有语义的目标影像特征;
[0010] S4,将目标影像特征通过自编码网络模型进行语义信息优化与重构,得到与背景不一致的、目标的专属特征,从而提取得到视频卫星数据中目标的鉴别特征。
[0011] 优选地,步骤S1中具体包括:
[0012] S11,选取UC‑MERCED数据集,所述UC‑MERCED数据集中包括多种地物分类;
[0013] S12,对UC‑MERCED数据集中的地物类别进行选择,有针对性地在线训练对称语义分割模型;
[0014] S13,最终获取已训练后的对称语义分割模型进入步骤S2。
[0015] 优选地,步骤S13中所述已训练后的对称语义分割模型包括特征提取部分和上采样部分,所述特征提取部分利用下采样方式逐渐展现背景信息,所述上采样部分结合下采
样过程中生成的特征图和上一次上采样生成的特征图还原细节信息,逐步还原至原图像精
度,最后通过分类器输出不同分类的最大值,得到最终分割结果。
[0016] 优选地,步骤S3中具体包括:
[0017] 利用SIFT特征匹配算法,将标注区域目标模板与分割图像中的区域块进行匹配,进行特征点提取;
[0018] 具体为:建立特征筛选机制,取标注区域目标模板中的一个SIFT关键点,并找出其与分割图像中欧式距离最近的前两个关键点,在这两个关键点中,如果最近的距离除以次
近的距离得到的比率rat io少于某个阈值T,则认定该目标模板中SIFT关键点和分割图像
中与其欧氏距离最近的关键点为匹配点,否则剔除这对匹配点,从而筛选出含有语义的目
标影像特征。
[0019] 优选地,阈值T取值为0.55,既保证匹配点数目多,又保证匹配精度相对高。
[0020] 优选地,所述自编码网络模型包括编码器和解码器,所述自编码网络模型中编码和解码的过程为:
[0021]
[0022] 其中,x和 分别为输入和输出数据;y为网络学习的特征表达;W1和W2分别为编码和解码网络的权重;b1和b2分别表示隐藏层和输出层的单元偏置;f和g表示激活函数。
[0023] 本发明的有益效果是:
[0024] 本发明公开了一种在线提取视频卫星数据鉴别特征的方法,该方法首次将鉴别特征提取过程应用在视频卫星数据上,结合对称语义分割模型和自编码网络模型,能够有效
减少前向传播过程中造成的像素信息损失,从而准确定位图像的分割边界;
[0025] 同时自编码网络模型自动地从无标注数据中学习特征,当视频卫星数据通过神经网络前向传播得到中高层的语义信息后,可借助自编码网络进行语义信息压缩与还原得到
更加清晰的特征描述,从而扩大不同背景间的差异,达到更好的分割背景的效果。

附图说明

[0026] 图1是实施例1中采用的对称语义分割模型结构示意图;
[0027] 图2是实施例1中采用的自编码网络模型结构示意图;
[0028] 图3是实施例1中一种在线提取视频卫星数据鉴别特征的方法流程图。

具体实施方式

[0029] 为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施方式仅仅用以解释本发明,并不用于
限定本发明。
[0030] 实施例1
[0031] 本实施例公开了一种在线提取视频卫星数据鉴别特征的方法,首先获取视频卫星数据的图像,并对获取到的图像进行数据标注,对数据标注后的标注区域作为鉴别特征提
取范围,采用对称语义分割模型和自编码网络模型提取鉴别特征,具体包括以下步骤:
[0032] S1,采用UC‑MERCED数据集在线训练对称语义分割模型,以便更有效地获取到视频卫星数据中的影像特征;
[0033] S2,利用训练后的对称语义分割模型对视频卫星数据进行语义分割,得到一系列的影像特征图,最终分割成具有一定语义含义的区域块,并识别出每个区域块的语义类别,
从而得到具有逐像素语义标注的分割图像;
[0034] S3,建立特征筛选机制,根据标注区域目标模板,从分割图像中筛选出含有语义的目标影像特征;
[0035] S4,将目标影像特征通过自编码网络模型进行语义信息优化与重构,得到与背景不一致的、目标的专属特征,从而提取得到视频卫星数据中目标的鉴别特征。
[0036] 本实施例中的采用UC‑MERCED数据集对对称语义分割模型进行训练的过程具体包括:
[0037] S11,构建UC‑MERCED数据集,所述UC‑MERCED数据集中包括多种地物分类;
[0038] S12,对UC‑MERCED数据集中的地物类别进行选择,针对背景这一关键词挑选不同的地物类别对对称语义分割模型进行训练;
[0039] S13,最终获取已训练后的对称语义分割模型进入步骤S2。
[0040] 本实施例中采用的所述对称语义分割模型包括特征提取部分和上采样部分,所述特征提取部分利用下采样方式逐渐展现背景信息,所述上采样部分结合下采样过程中生成
的特征图和上一次上采样生成的特征图还原细节信息,逐步还原至原图像精度,最后通过
分类器输出不同分类的最大值,得到最终分割结果。
[0041] 步骤S3中具体包括:
[0042] 利用SIFT特征匹配算法,将标注区域目标模板与分割图像中的区域块进行匹配,进行特征点提取;
[0043] 具体为:建立特征筛选机制,取标注区域目标模板中的一个SIFT关键点,并找出其与分割图像中欧式距离最近的前两个关键点,在这两个关键点中,如果最近的距离除以次
近的距离得到的比率rat io少于某个阈值T,则认定该目标模板中SIFT关键点和分割图像
中与其欧氏距离最近的关键点为匹配点,否则剔除这对匹配点,从而筛选出含有语义的目
标影像特征,本实施例中的阈值T取值为0.55。
[0044] 本实施例中所述自编码网络包括编码器和解码器,所述自编码网络中编码和解码的过程为:
[0045]
[0046] 其中,x和 输入和输出数据;y为网络学习的特征表达;W1和W2分别为编码和解码网络的权重;b1和b2分别表示隐藏层和输出层的单元偏置;f和g表示激活函数。
[0047] 本实施例构建UC‑MERCED数据集,该数据及中包括21中地物分类,每个类别中都包含100张图片,总计图片数为2100个,每张图像的尺寸为256*256像素,像素分辨率为1英尺。
[0048] 通过采用本发明公开的上述技术方案,得到了如下有益的效果:
[0049] 本发明公开了一种在线提取视频卫星数据鉴别特征的方法,该方法首次将鉴别特征提取过程应用在视频卫星数据上,结合对称语义分割模型和自编码网络模型,不仅有效
减少前向传播过程中造成的像素信息损失,准确定位图像的分割边界;
[0050] 同时自编码网络模型自动地从无标注数据中学习特征,当视频卫星数据通过神经网络前向传播得到中高层的语义信息后,可借助自编码网络进行语义信息压缩与还原得到
更加清晰的特征描述,从而扩大不同背景间的差异,达到更好的分割背景的效果。
[0051] 以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应
视本发明的保护范围。