图像特征降维方法、装置、电子设备和存储介质转让专利
申请号 : CN202110784556.4
文献号 : CN113298049B
文献日 : 2021-11-02
发明人 : 曾祁泽 , 潘华东 , 朱树磊 , 葛主贝
申请人 : 浙江大华技术股份有限公司
摘要 :
权利要求 :
1.一种图像特征降维方法,其特征在于,包括:提取目标业务场景下目标图片对应的第一图像特征向量;
基于所述目标业务场景下的样本图片和掩码向量模型,得到与对应目标业务场景相匹配的中间掩码向量;所述掩码向量模型为通过机器学习算法构建的所述目标业务场景下的样本图片与中间掩码向量的机器学习模型,所述中间掩码向量与所述第一图像特征向量维度相同;
根据所述中间掩码向量对所述第一图像特征向量进行降维处理,得到第二图像特征向量;
所述基于所述目标业务场景下的样本图片和掩码向量模型,得到与对应目标业务场景相匹配的中间掩码向量包括:根据所述目标业务场景下的样本图片配置初始化掩码向量;
基于遗传算法和所述样本图片对所述初始化掩码向量进行种群迭代寻优,得到与对应目标业务场景相匹配的中间掩码向量;其中,在遗传算法中将所述初始化掩码向量确定为初代种群,根据适应度函数计算初代种群中每个初始个体的第一适应度包括:根据所述目标图片随机选取至少一个特征向量三元组;所述特征向量三元组包括基于所述目标图片确定的第一特征向量、第二特征向量和第三特征向量;根据至少一个所述特征向量三元组和所述适应度函数,确定对应初始个体的第一适应度,其中,所述第一特征向量和第二特征向量对应的目标图片所在的目标对象相同;所述第一特征向量和第三特征向量对应的目标图片所在的目标对象不同;所述第一适应度用于进行种群迭代寻优。
2.根据权利要求1所述的图像特征降维方法,其特征在于,基于遗传算法和所述样本图片对所述初始化掩码向量进行种群迭代寻优,得到中间掩码向量,包括:基于所述样本图片构建与目标业务场景对应的适应度函数;
根据适应度函数计算初代种群中每个初始个体的第一适应度;
根据初始个体的第一适应度进行种群迭代更新,直至进化完成;
根据所述适应度函数计算进化完成后每个个体的第二适应度,并将第二适应度最大的个体输出为中间掩码向量。
3.根据权利要求2所述的图像特征降维方法,其特征在于,基于所述样本图片构建与目标业务场景对应的适应度函数,包括:基于目标业务场景下的样本图片获取与所述目标图片对应的降维维数和图像特征距离;
根据所述图像维数和所述图像特征距离,确定与所述目标业务场景对应的适应度函数。
4.根据权利要求2所述的图像特征降维方法,其特征在于,根据初始个体的第一适应度进行种群迭代更新,直至进化完成包括:根据初代种群每个个体的第一适应度进行父个体选择;
利用所述父个体进行交叉和变异,对种群中的个体进行更新,得到子代种群;
重复以上步骤进行迭代更新,直至进化完成。
5.根据权利要求1所述的图像特征降维方法,其特征在于,根据所述中间掩码向量对所述第一图像特征向量进行降维处理,得到第二图像特征向量包括:根据所述中间掩码向量各个维度上的特征值,对所述第一图像特征向量对应位置的特征值进行按位逻辑运算,得到降维后的第二图像特征向量。
6.一种图像特征降维装置,其特征在于,包括:第一图像特征向量获取单元,用于提取目标业务场景下目标图片对应的第一图像特征向量;
中间掩码向量获取单元,用于基于所述目标业务场景下的样本图片和掩码向量模型,得到与对应目标业务场景相匹配的中间掩码向量;所述掩码向量模型为通过机器学习算法构建的所述目标业务场景下的样本图片与中间掩码向量的机器学习模型,所述中间掩码向量与所述第一图像特征向量维度相同;
第二图像特征向量获取单元,用于根据所述中间掩码向量对所述第一图像特征向量进行降维处理,得到第二图像特征向量;
所述中间掩码向量获取单元包括:初始化掩码向量配置模块,用于根据所述目标业务场景下的样本图片配置初始化掩码向量;
计算模块,用于基于遗传算法和所述样本图片对所述初始化掩码向量进行种群迭代寻优,得到与对应目标业务场景相匹配的中间掩码向量;
所述计算模块包括:
初代种群确定模块,用于将所述初始化掩码向量确定为初代种群;
第一适应度计算模块,用于根据适应度函数计算初代种群中每个初始个体的第一适应度;具体用于根据所述目标图片随机选取至少一个特征向量三元组;所述特征向量三元组包括基于所述目标图片确定的第一特征向量、第二特征向量和第三特征向量;根据至少一个所述特征向量三元组和所述适应度函数,确定对应初始个体的第一适应度,其中,所述第一特征向量和第二特征向量对应的目标图片所在的目标对象相同;所述第一特征向量和第三特征向量对应的目标图片所在的目标对象不同;所述第一适应度用于进行种群迭代寻优。
7.一种电子设备,包括存储器和处理器,其特征在于,所述存储器中存储有计算机程序,所述处理器被设置为运行所述计算机程序以执行权利要求1至5中任一项所述的图像特征降维方法。
8.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至5中任一项所述的图像特征降维方法。
说明书 :
图像特征降维方法、装置、电子设备和存储介质
技术领域
背景技术
标对象是否相同。在图像识别业务中,需要判断一张待识别图片是否与底库中的某个目标
对象相匹配,因此,我们需要计算待识别图片特征向量与底库中所有图像之间的相似度。当
底库规模较大时,特征向量的维数便是影响图像特征匹配效率的重要因素。对特征向量进
行降维能显著提升特征相似度的计算速度,但另一方面,图像特征维度的缩减可能会带来
人脸信息的丢失,降低人脸特征匹配结果的准确性。
征向量进行降维处理时,用一个维度较低的特征向量最大程度地去还原原本特征向量中包
含的信息。这种方法仅基于特征间的差异对特征进行筛选,不具有针对性,无法剔除相对于
具体业务场景的冗余信息。另外由于原本特征向量中噪声信息的存在,这种方法在降维的
过程中会同时将噪声的影响放大。因此通过这种方式得到的降维特征向量并不能提升后续
特征匹配的准确率。
发明内容
下的样本图片与中间掩码向量的机器学习模型,所述中间掩码向量与所述第一图像特征向
量维度相同;
征向量和第二特征向量对应的目标图片所在的目标对象相同;所述第一特征向量和第三特
征向量对应的目标图片所在的目标对象不同;
算法构建的所述目标业务场景下的样本图片与中间掩码向量的机器学习模型,所述中间掩
码向量与所述第一图像特征向量维度相同;
实现如上述第一方面所述的图像特征降维方法。
模型,得到与对应目标业务场景相匹配的中间掩码向量,从而实现了基于当前业务场景下
的业务数据的特点来筛选最有利于后续特征匹配的特征子集。通过根据所述中间掩码向量
对第一图像特征向量进行降维处理,得到第二图像特征向量,实现了通过中间掩码向量将
与业务场景无关的冗余特征进行剔除。从而在降维过程中,关注的不是不同特征间的差异,
而是不同特征对匹配结果的影响,使得通过该方法得到的低维特征能够很好地契合当前的
应用场景,不仅可以缓解冗余特征对后续图像识别中特征匹配造成的干扰,也能同时提升
大规模图像识别场景下的特征匹配效率。
附图说明
具体实施方式
于限定本申请。基于本申请提供的实施例,本领域普通技术人员在没有作出创造性劳动的
前提下所获得的所有其他实施例,都属于本申请保护的范围。
于其他类似情景。此外,还可以理解的是,虽然这种开发过程中所作出的努力可能是复杂并
且冗长的,然而对于与本申请公开的内容相关的本领域的普通技术人员而言,在本申请揭
露的技术内容的基础上进行的一些设计,制造或者生产等变更只是常规的技术手段,不应
当理解为本申请公开的内容不充分。
同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显
式地和隐式地理解的是,本申请所描述的实施例在不冲突的情况下,可以与其它实施例相
结合。
等类似词语并不表示数量限制,可表示单数或复数。本申请所涉及的术语“包括”、“包含”、
“具有”以及它们任何变形,意图在于覆盖不排他的包含;例如包含了一系列步骤或模块(单
元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可以还包括没有
列出的步骤或单元,或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单
元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连
接,而是可以包括电气的连接,不管是直接的还是间接的。本申请所涉及的“多个”是指两个
或两个以上。“和/或”描述关联对象的关联关系,表示可以存在三种关系,例如,“A和/或B”
可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。字符“/”一般表示前后关联对
象是一种“或”的关系。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对
象,不代表针对对象的特定排序。
域中,具有现实研究意义和广泛的应用场景。
着图像识别技术的发展与智慧城市建设的推进,图像底库的规模日益增大,在保证识别准
确率的前提下对图像特征进行降维处理,对提高图像特征匹配效率有着重要的意义。
片。这些特殊样本的加入会使得图像特征提取模型能够提取出多种针对特殊图像的特征。
事实上,图像识别所针对的业务场景是多种多样的,图像识别算法在部署到具体的业务场
景下时,往往只需要处理一种或少数几种类型的图像数据,面向其他特殊图像类型提取出
来的特征会变成冗余特征,甚至会对该场景下的图像特征匹配造成干扰。例如:在口罩人脸
识别场景下,鼻子以下的人脸区域均被口罩覆盖。若考虑口罩颜色的差别,基于特征差异的
降维方法会保留甚至放大该区域的颜色特征,但该区域的颜色特征实际上无益于后续的人
脸特征匹配,构成了冗余特征。
第一图像特征向量。所述第一图像特征向量是指未经过降维处理的原始的图像特征向量,
该特征向量中包含着大量与当前应用场景无关的冗余信息。其中,所述特征提取模型可以
基于SIFT算法的图像特征提取模型,也可以是基于机器学习算法的图像特征提取模型如卷
积神经网络(Convolutional Neural Network,CNN)等;目标业务场景可以是安全监控、面
部识别、视觉地理定位、手势识别、对象识别、医学图像分析、驾驶员帮助等等,本申请在此
不做具体限定。
业务场景下的样本图片与中间掩码向量的机器学习模型,所述中间掩码向量与所述第一图
像特征向量维度相同。
本申请对机器学习算法并不进行具体限定。掩码向量模型可以基于目标业务场景下的样本
图片建立,能够自适应地部署至不同业务场景,也易于推广到不同的应用场景。在一些实施
例中,可以利用目标业务场景下的不断输入的样本图片,按照模型训练方法训练得到掩码
向量模型;也可以在已有机器学习模型的基础上,通过增量学习的方式对已有机器学习模
型进行更新,得到掩码向量模型。
于目标业务场景下的样本图片,与对应业务场景具有强关联性,可以反映当前业务场景下
的图像特点。在本实施例中,所述中间掩码向量与所述第一图像特征向量维度相同,而且通
过所述样本图片和所述掩码向量模型得到的中间掩码向量后,中间掩码向量的每一维度特
征值与所述目标业务场景相匹配,从而便于后续对第一图像特征向量的各个维度进行特征
筛选,提升当前业务场景下特征匹配度。
的特征值,得到降维后的第二图像特征向量。
大小,且能在一定程度上规避噪声的干扰,使得降维后的第二图像特征向量可以直接用于
后续特征匹配,提高匹配的准确率。
用于识别的特征向量,降低了计算成本,且具有更好的易用性。
基于当前业务场景下的业务数据的特点来筛选最有利于后续特征匹配的特征子集。通过根
据所述中间掩码向量对第一图像特征向量进行降维处理,得到第二图像特征向量,实现了
通过中间掩码向量将与业务场景无关的冗余特征进行剔除。从而在降维过程中,关注的不
是不同特征间的差异,而是不同特征对匹配结果的影响,使得通过该方法得到的低维特征
能够很好地契合当前的应用场景,不仅可以缓解冗余特征对后续图像识别中特征匹配造成
的干扰,也能同时提升大规模图像识别场景下的特征匹配效率。
一定进化压力的情况下,种群会朝着最大化种群个体适应度的方向进化。若通过对初始化
掩码向量进行建模,将初始化掩码向量编码为种群中的个体,根据具体应用场景中的样本
图片引入环境压力,那么通过一定次数的进化迭代,使特征向量能自适应地朝着适应环境
的方向进化,即可从原始的初始化掩码向量中,获得种群中适应度最高的个体,该个体即对
应了特征维度少,且后续特征匹配效果好的图像特征子集。通过遗传算法,可以在没有内置
的特征选取机制的情况下,实现中间掩码向量的不确定性优化,并保留所述目标业务场景
的匹配特征。
采用预设的特征提取模型对所述目标图片进行图像特征提取,得到样本图片对应的图像特
征向量,根据该图像特征向量的维度配置维数相同的初始化掩码向量。其中,初始化掩码向
量上每一维上的取值可以为0或1,可以采用随机初始化的方式生成,即每个掩码向量中的
每一维按照相等的概率设置为0或1。初始化掩码向量的数量可根据后续图像识别的准确度
要求进行适应性配置。
中,当通过其他的机器学习模型获取中间掩码向量时,掩码向量模型的构建过程可进行适
应性调整,本申请在此不做赘述。
种群。
的特征向量满足类间离散、类内聚集的特点,即同一个目标对象不同目标图片之间的特征
相似度高,不同目标对象的目标图片之间的特征向量相似度低。
离,确定与所述目标业务场景对应的适应度函数。其中,所述降维维数表示降维后图像特征
向量的维数,所述图像特征距离可以有多种度量方式,如欧氏距离、余弦距离等。当然,在其
他实施例中,还可以根据实际应用场景下的业务需求自定义配置对应的适应度函数,如引
入目标对象的性别特征、年龄特征等各种约束条件,本申请在此不做具体限定。
谐参数,当 越大时,算法更注重降维特征后续的特征匹配效果;当 越大时,算法更注重降
维后图像特征向量的维数。
变,随机引入新的基因。
最佳保留选择等等。示例性的,以轮盘赌选择为例,种群中每个初始个体的被选择为父代个
体的概率的计算方式如下:
应的个体作为父代个体。
成子代个体。交叉操作会在中间掩码向量上随机确定两个位置作为交叉点,并交换两个父
代个体交叉点之间的编码。变异操作则是通过对子代个体各维度上的编码随机进行位反转
实现。
每个个体的第二适应度,将种群中适应度最高的个体确定为中间掩码向量。该掩码向量可
以从第一图像特征向量中挑选出适用于当前业务场景的特征子集,目前已有的业务数据以
及后续该业务场景下的业务数据都可以使用该中间掩码向量进行降维处理。其中,进化完
成的条件可以是种群迭代达到预设次数,也可以是种群中个体的适应度不发生改变等等,
本申请在此不进行具体限定。
所述特征向量三元组包括基于所述目标图片确定的第一特征向量、第二特征向量和第三特
征向量;根据至少一个所述特征向量三元组和所述适应度函数,确定对应初始个体的第一
适应度。其中,所述第一特征向量和第二特征向量对应的目标图片所在的目标对象相同;所
述第一特征向量和第三特征向量对应的目标图片所在的目标对象不同。
有较高的计算成本。本实施例采用随机生成三元组的方式来计算个体的适应度。具体的,基
于所述目标业务场景下的样本图片,随机选择一张图片作为锚点 ,以该锚点随机选择一
张相同目标对象的图片对应的特征向量 ,以及一张不同目标对象的图片对应的特征向量
构成三元组。针对该三元组,个体 的适应度值为:
维度上的特征值,对所述第一图像特征向量对应位置的特征值进行按位逻辑运算,得到降
维后的第二图像特征向量。
值;当中间掩码向量对应维度上的特征值为0时,舍弃第一图像特征向量中对应维度上的特
征值,得到降维后的第二图像特征向量,该特征向量为所述第一图像特征向量的一个子集。
各个维度上的特征值为 ,则对所述第一图像特征向量对应位置的特征值进行
按位逻辑运算,可以得到降维后的第二图像特征向量 。
情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来
实现,但是硬件,或者软件和硬件的组合的实现也是可能并被构想的。
单元703。
学习算法构建的所述目标业务场景下的样本图片与中间掩码向量的机器学习模型,所述中
间掩码向量与所述第一图像特征向量维度相同;
向量;其中,所述第一特征向量和第二特征向量对应的目标图片所在的目标对象相同;所述
第一特征向量和第三特征向量对应的目标图片所在的目标对象不同;
于同一处理器中;或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器
中。
请实施例的一个或多个集成电路。
State Drive,简称为SSD)、闪存、光盘、磁光盘、磁带或通用串行总线(Universal Serial
Bus,简称为USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下,存储器82可
包括可移除或不可移除(或固定)的介质。在合适的情况下,存储器82可在数据处理装置的
内部或外部。在特定实施例中,存储器82是非易失性(Non‑Volatile)存储器。在特定实施例
中,存储器82包括只读存储器(Read‑Only Memory,简称为ROM)和随机存取存储器(Random
Access Memory,简称为RAM)。在合适的情况下,该ROM可以是掩模编程的ROM、可编程ROM
(Programmable Read‑Only Memory,简称为PROM)、可擦除PROM(Erasable Programmable
Read‑Only Memory,简称为EPROM)、电可擦除PROM(Electrically Erasable Programmable
Read‑Only Memory,简称为EEPROM)、电可改写ROM(Electrically Alterable Read‑Only
Memory,简称为EAROM)或闪存(FLASH)或者两个或更多个以上这些的组合。在合适的情况
下,该RAM可以是静态随机存取存储器(Static Random‑Access Memory,简称为SRAM)或动
态随机存取存储器(Dynamic Random Access Memory,简称为DRAM),其中,DRAM可以是快速
页模式动态随机存取存储器(Fast Page Mode Dynamic Random Access Memory,简称为
FPMDRAM)、扩展数据输出动态随机存取存储器(Extended Date Out Dynamic Random
Access Memory,简称为EDODRAM)、同步动态随机存取内存(Synchronous Dynamic Random‑
Access Memory,简称SDRAM)等。
以及图像/数据处理工作站等之间进行数据通信。
Bus)、扩展总线(Expansion Bus)、局部总线(Local Bus)。举例来说而非限制,总线80可包
括图形加速接口(Accelerated Graphics Port,简称为AGP)或其他图形总线、增强工业标
准架构(Extended Industry Standard Architecture,简称为EISA)总线、前端总线(Front
Side Bus,简称为FSB)、超传输(Hyper Transport,简称为HT)互连、工业标准架构
(Industry Standard Architecture,简称为ISA)总线、无线带宽(InfiniBand)互连、低引
脚数(Low Pin Count,简称为LPC)总线、存储器总线、微信道架构(Micro Channel
Architecture,简称为MCA)总线、外围组件互连(Peripheral Component Interconnect,简
称为PCI)总线、PCI‑Express(PCI‑X)总线、串行高级技术附件(Serial Advanced
Technology Attachment,简称为SATA)总线、视频电子标准协会局部(Video Electronics
Standards Association Local Bus,简称为VLB)总线或其他合适的总线或者两个或更多
个以上这些的组合。在合适的情况下,总线80可包括一个或多个总线。尽管本申请实施例描
述和示出了特定的总线,但本申请考虑任何合适的总线或互连。
令被处理器执行时实现上述实施例中的任意一种图像特征降维方法。
在矛盾,都应当认为是本说明书记载的范围。
说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护
范围。因此,本申请专利的保护范围应以所附权利要求为准。