一种基于算法融合的目标检测方法、设备及介质转让专利
申请号 : CN202111365381.X
文献号 : CN113807328B
文献日 : 2022-03-18
发明人 : 周昊 , 侯小叶 , 王卫光 , 孙政 , 田长超
申请人 : 济南和普威视光电技术有限公司
摘要 :
权利要求 :
1.一种基于算法融合的目标检测方法,其特征在于,所述方法包括:服务器获取待测图片,输入至第一神经网络模型,以获得所述待测图片对应的若干目标类型;具体包括:
所述第一神经网络模型获取待测图片;通过对待测图片进行4倍、8倍、16倍和32倍下采样处理,获取若干目标抠图;确定各个所述目标抠图对应的目标类型,并发送目标类型至服务器;
当所述目标类型中不包括预设报警类型时,所述服务器输入待测图片至背景建模模型,以获得待测图片对应的动态目标数据;具体包括:把待测图片输入至背景建模模型;确定待测图片中的待选目标数据,其中所述待选目标数据包含待选目标抠图、目标抠图位置、目标抠图像素和目标抠图长宽;获取预存的参考目标数据;其中,参考目标数据包含参考目标抠图、参考抠图位置、参考抠图像素和参考抠图长宽;背景建模模型根据参考目标数据,确定待选目标数据对应的抠图位置相似度、抠图像素相似度和抠图长宽相似度的相似度平均值;背景建模模型确定所述相似度平均值大于预设相似度的待选目标数据为动态目标数据,并发送动态目标数据至服务器;
服务器对所述动态目标数据进行预处理,以获得有效目标数据;具体包括:服务器获取待测图片对应的全部动态目标数据,以确定所述目标抠图像素小于预设像素值的动态目标数据的检测数量;当所述检测数量大于预设数量阈值时,删除全部目标抠图像素小于所述预设像素值的动态目标数据,确定其他动态目标数据为有效目标数据;当检测数量小于或等于所述预设数量阈值时,确定全部动态目标数据为有效目标数据;
服务器输入所述有效目标数据至第二神经网络模型,以获得有效目标数据对应的目标类型;
当目标类型中包括所述预设报警类型时,服务器进行报警处理。
2.根据权利要求1所述的基于算法融合的目标检测方法,其特征在于,在输入待测图片至背景建模模型之前,方法还包括:服务器基于待测图片,确定若干参考图片;
输入所述参考图片至所述背景建模模型,以更新背景建模模型中的参考目标数据。
3.根据权利要求1所述的基于算法融合的目标检测方法,其特征在于,所述服务器获取待测图片,具体包括:
服务器通过预设的图片采集模块,获取任一场景下任意时间段内的若干图片为待测图片;
和/或,服务器通过预设的视频采集模块,获取任一场景下任意时间段内的视频片段,进而获取所述视频片段对应的待测图片。
4.根据权利要求1所述的基于算法融合的目标检测方法,其特征在于,所述服务器进行报警处理,具体包括:
服务器获取进行报警处理的时间段,以记录在历史报警记录表中;
当服务器检测到任一时间段对应的报警处理次数大于预设报警阈值时,生成派遣任务,并发送至服务器对应的巡检终端。
5.根据权利要求1所述的基于算法融合的目标检测方法,其特征在于,方法还包括:当满足预设更新条件时,服务器根据当前获取的待测图片生成训练样本,对第一神经网络模型和/或所述第二神经网络模型进行更新;
其中,所述满足预设更新条件,具体包括以下任意一项或多项:服务器检测到第一神经网络模型和/或第二神经网络模型的工作时间,达到预设更新时间;
服务器检测到第一神经网络模型和/或第二神经网络模型的报警准确率,低于预设准确阈值。
6.一种基于算法融合的目标检测设备,其特征在于,所述设备包括:处理器;
以及存储器,其上存储有可执行代码,当所述可执行代码被执行时,使得所述处理器执行如权利要求1‑5任一项所述的一种基于算法融合的目标检测方法。
7.一种非易失性计算机存储介质,其特征在于,其上存储有计算机指令,所述计算机指令在被执行时实现如权利要求1‑5任一项所述的一种基于算法融合的目标检测方法。
说明书 :
一种基于算法融合的目标检测方法、设备及介质
技术领域
背景技术
进行检测,同时现场还有大量的牛羊。在一些边防场景里,还对检测的准确率和误报率有严
格的要求,尤其是漏报率,这对大视野环境下的目标检测提出了很高的要求。
粹基于深度学习的目标检测算法也存在小目标检测准确率低,漏报率高,极小的目标(8*8
像素以下)无法检测出来等问题。
发明内容
存在目标类型为预设报警类型时,服务器输入待测图片至背景建模模型,以获得待测图片
对应的动态目标数据;服务器对动态目标数据进行预处理,以获得有效目标数据;服务器输
入有效目标数据至第二神经网络模型,以获得有效目标数据对应的目标类型;当存在目标
类型为预设报警类型时,服务器进行报警处理。
参考目标数据;其中,参考目标数据包含参考目标抠图、参考抠图位置、参考抠图像素和参
考抠图长宽;背景建模模型根据参考目标数据,确定待选目标数据对应的抠图位置相似度、
抠图像素相似度和抠图长宽相似度的相似度平均值;背景建模模型确定相似度平均值大于
预设相似度的待选目标数据为动态目标数据,并发送动态目标数据至服务器。
目标抠图像素小于预设像素值的动态目标数据,确定其他动态目标数据为有效目标数据;
当检测数量小于或等于预设数量阈值时,确定全部动态目标数据为有效目标数据。
内的视频片段,进而获取视频片段对应的待测图片。
至服务器对应的巡检终端。
包括以下任意一项或多项:服务器检测到第一神经网络算法和/或第二神经网络算法的工
作时间,达到预设更新时间;服务器检测到第一神经网络算法和/或第二神经网络算法的报
警准确率,低于预设准确阈值。
设备执行上述的任一项的目标检测方法。
分析处理。当服务器通过第一神经网络,确定待测图片中存在预设报警类型时,直接进行报
警处理,避免了运行背景建模模型带来的资源损耗。当服务器通过第一神经网络,确定待测
图片中不存在预设报警类型时,基于神经网络模型对小目标检测准确率低,漏报率高,极小
的目标(8*8像素以下)无法检测出来的特点。服务器将待测图片导入至背景建模模型中,以
通过背景建模模型将具有移动特点的动态目标检测出来,并生成对应的动态目标数据。以
此使服务器获得了包含小目标的图像的动态目标数据,服务器在获得动态目标数据(包含
小目标图像)后,对动态目标数据进行预处理,筛选出有效目标数据。在这里筛选有效目标
数据的依据是,小于预设像素阈值的动态目标数据的检测数量,当检测数量大于预设阈值
时,说明这些小像素的动态目标数据很有可能是牛羊等动物,可以在这里将这些可能为牛
羊的动态目标数据删除。然后服务器将有效目标数据输入至第二神经网络模型,以通过第
二神经网络确定有效目标数据对应的目标类型。当服务器通过第二神经网络,确定待测图
片中存在预设报警类型时,进行报警处理。
附图说明
具体实施方式
技术原理,并非用于限制本公开的保护范围。基于本公开提供的优选实施例,本领域普通技
术人员在没有付出创造性劳动的情况下所获得的其他所有实施例,仍应落入到本公开的保
护范围之内。
括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要
素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要
素的过程、方法、商品或者设备中还存在另外的相同要素。
时现场还有大量的牛羊。在一些边防场景里,还对检测的准确率和误报率有严格的要求,尤
其是漏报率,这对大视野环境下的目标检测提出了很高的要求。在该背景下的目标检测,存
在以下技术难点:远距离目标较小,形态特征不明显,尤其是人,往往只有在运动的时候才
能发现目标;由于目标比较小,环境复杂,很容易产生误报,大量的误报极大消耗了工作人
员的精力。牛羊导致的误报非常多,严重影响实际使用。
等家畜误报多。牛羊经常长时间在一片区域徘徊,导致这片区域误报率非常高;背景建模鲁
棒性较差,检测的环境有近距离目标,也有远距离目标,目标的尺寸,运动速度等不同,导致
相同的背景建模参数只对部分场景效果好;限于背景建模算法本身的局限性,无法对检测
到的目标进行分类。只对运动目标进行检测,无法检测静止目标或移动速度较慢的目标。目
标冷热不均匀,很多情况下人只有头或者脚成像清晰,导致只能检测出头或脚的运动目标。
应的一张或多张图片,完成获取待测图片。
神经网络算法,且神经网络算法不限于深度神经网络算法、卷积神经网络算法以及循环神
经网络算法。目标类型为通过第一神经网络检测出来的目标的类型,如,车辆类型、动物类
型、植物类型等。
够对待测图片进行4倍、8倍、16倍和32倍下采样,进而获取到该待测图片对应的若干目标抠
图;具体地,获取若干目标抠图,其中所述目标抠图中包含目标的位置信息和分类信息。由
于第一神经网络模型为完成训练的模型,因此,第一神经网络模型存有目标抠图-目标类
型之间的映射关系,使得该第一神经网络模型能够根据目标抠图确定目标类型。第一神经
网络模型获取完待测图片对应的全部目标类型后,将全部目标类型发送给服务器。
目标数据至少包含目标抠图、目标抠图位置、目标抠图像素和目标抠图长宽。
连续性,可以使背景建模模型从待测图片中识别出可移动物体,将可移动物体对应的图像、
位置、像素和长宽作为参考目标数据存储。进而实现对背景建模模型的更新处理。
可以但不限于KNN(K‑Nearest Neighbor)算法,VJ(Viola Jones)算法,HOG(Histogram of
Oriented Gradient)算法和DMP(Dynamic Movement Primitives)算法等。
进行对比,计算待选目标数据对应的抠图位置相似度、抠图像素相似度和抠图长宽相似度
的相似度平均值;当背景建模模型检测到相似度平均值小于或等于预设相似度时,背景建
模模型删除待选目标数据;当背景建模模型检测到相似度平均值大于预设相似度时,背景
建模模型将待选目标数据设置为动态目标数据,并将该动态目标数据发送至服务器。需要
说明的是,上述计算物体图像对应的抠图位置相似度、抠图像素相似度和抠图长宽相似度
的相似度平均值的具体过程,可以通过现有的方法或者技术实现,本发明实施例对此不作
限定。
数据删除,去除了位置移动不明显的静态物体。使移动的人或车辆尽可能地被保留。
模型(具体详见步骤104)识别的羊、牛等。根据羊、牛都是成群集聚的特点,服务器将对若干
动态目标数据进行预处理,去除小的不易被识别的、多个聚集的物体,以获得可能是人或车
的有效目标数据。
据的检测数量。当检测数量大于预设数量阈值时,服务器确定存在多个小物体集聚的现象,
将删除抠图像素小于预设像素值的动态目标数据,确定其他动态目标数据为有效目标数
据。当检测数量小于或等于预设数量阈值时,服务器确定不存在多个小物体集聚的现象,将
确定全部动态目标数据为有效目标数据。
服务器将有效目标数据输入至第二神经网络模型后,由于第二神经网络模型为完成训练的
模型,因此第二神经网络模型存有有效目标数据-目标类型之间的映射关系,使得该第二
神经网络模型能够根据有效目标数据确定目标类型。在第二神经网络模型获取到有效目标
数据对应的目标类型后,发送该目标类型至服务器。
时间段对应的报警处理次数大于预设报警阈值时,生成派遣任务,并发生至服务器对应的
巡检人员的终端。
二神经网络模型进行更新;其中,满足预设更新条件,具体包括以下任意一项或多项:服务
器检测到第一神经网络模型和/或第二神经网络模型的工作时间,达到预设更新时间;服务
器检测到第一神经网络模型和/或第二神经网络模型的报警准确率,低于预设准确阈值。
目标检测方法。具体地,服务器端通过总线向存储器发送执行指令,当存储器接收到执行指
令时,通过总线向处理器发送执行信号,以激活处理器。
图片至背景建模模型,以获得待测图片对应的动态目标数据;服务器对动态目标数据进行
预处理,以获得有效目标数据;服务器输入有效目标数据至第二神经网络模型,以获得有效
目标数据对应的目标类型;当存在目标类型为预设报警类型时,服务器进行报警处理。
理的前提下,本领域技术人员可以对上述各个实施例中的技术方案进行拆分和组合,也可
以对相关技术特征作出等同的更改或替换,凡在本公开的技术构思和/或技术原理之内所
做的任何更改、等同替换、改进等都将落入本公开的保护范围之内。