一种基于递归多特征融合的野生动物出没检测方法转让专利
申请号 : CN202110991551.9
文献号 : CN113435425B
文献日 : 2021-12-07
发明人 : 钟乐海 , 包晓安 , 李礁 , 张娜 , 邢伟寅 , 吴彪 , 韩正勇 , 张庆琪 , 罗金生
申请人 : 绵阳职业技术学院
摘要 :
权利要求 :
1.一种基于递归多特征融合的野生动物出没检测方法,其特征在于,包括步骤:步骤1:利用自然保护区内设置的摄像头采集视频并对视频进行抽帧处理获取到大量图片,将图片作为样本数据集,对样本数据集中样本图片的每个动物进行类别标注;先对样本数据集进行预处理,包括:由于存在喜欢夜间活动的动物种类,样本数据集中还包括不同光线条件下的数据;将样本图片进行随机的亮度处理,丰富不同光线条件下的数据样本;将样本图片进行不同角度的旋转,模拟摄像头不同角度的拍摄效果;将样本图片进行随机的马赛克遮挡,模拟动物被遮挡的情况;然后使用LabelMe工具对样本图片中的动物个体进行标注;
步骤2:建立融合递归Re‑BiFPN结构的Cascade R‑CNN目标检测模型,在所述的Cascade R‑CNN目标检测模型主干网络输出层连接递归Re‑BiFPN结构,所述递归Re‑BiFPN结构的输出进入Cascade R‑CNN目标检测模型的后续预测层;所述递归Re‑BiFPN结构包括第一BiFPN结构和第二BiFPN结构,所述第一BiFPN结构和第二BiFPN结构折叠并列连接;所述第一BiFPN结构的输入端连接主干网络,所述第一BiFPN结构的输出端返回主干网络,主干网络再次连接第二BiFPN结构,经过第一BiFPN结构和第二BiFPN结构的输出结果进行融合后作为最终输出结果,从而形成融合递归Re‑BiFPN结构的Cascade R‑CNN目标检测模型;所述第一BiFPN结构和第二BiFPN结构的结构相同,包括依次设置的自顶向下的中间特征层和自底向上的输出特征层;自顶向下的中间特征层分别连接主干网络输出层,且输出给自底向上的输出特征层;自底向上的输出特征层连接自顶向下的中间特征层和主干网络输出层,并由自底向上的输出特征层输出结果;
在所述自顶向下的中间特征层和自底向上的输出特征层中均包含了多个节点,在每个节点处的处理过程包括步骤:
步骤2.1:对输入的矩阵特征进行快速归一化融合;
Ii是同层前一节点向本节点输入的矩阵特征,wi是同层前一节点向本节点输入的权重,wj本节点所有输入的权重,ε=0.0001避免数值的不稳定,防止分母为零;
步骤2.2:设 代表自顶向下的中间特征层的第k层节点输出,那么该层中节点特征输出为:
其中,wk是第k层中由主干网络输入该节点的特征矩阵的权重,wk+1是第k+1层中间特征层输入该节点的特征矩阵的权重, 是第k+1层的由主干网络节点或中间特征层输出的特征矩阵,利用函数 是获取特征矩阵 的大小, 是第k层的由主干网络节点输出的特征矩阵,in代表主干网络输出层,td代表中间特征层;
步骤2.3:设 代表自底向上的输出特征层的第k层节点输出,那么该层中节点特征输出为:
其中,w′k1是第k层中由主干网络输入该输出特征层节点的特征矩阵的权重,w′k2是第k层中由中间特征层输入该输出特征层节点的特征矩阵的权重,w′k‑1是第k‑1层输出特征层输入该节点的特征矩阵的权重; 是第k+1层由中间特征层节点输出的特征矩阵,是设定特征矩阵 的大小; 是第k‑1层由中间特征层节点输出的特征矩阵,利用函数 是获取特征矩阵 的大小; 是第k层由主干网络节点输出的特征矩阵, 是第k层由中间特征层节点输出的特征矩阵,in代表主干网络输出层,td代表中间特征层;
将第一BiFPN结构作为递归Re‑BiFPN的中间层特征层,第二BiFPN结构作为递归Re‑BiFPN的输出层特征层;通过ASPP模块连接第一BiFPN结构和第二BiFPN结构,用于实现Re‑BiFPN结构中的连接,并令Rk为ASPP模块的转换参数;同时,设置融合模块将第一BiFPN结构输出和第二BiFPN结构输出进行融合后作为最终输出结果;
在所述递归Re‑BiFPN中:
获得递归Re‑BiFPN的中间层特征层节点特征输出为:获得递归Re‑BiFPN的输出层特征层节点特征输出为:最后通过融合模块将 和 融合起来,得到最终输出结果;
步骤3:利用样本数据集对所建立的目标检测模型进行训练,获得野生动物出没检测模型;
步骤4:将自然保护区摄像头采集到的视频图片输入野生动物出没检测模型进行野生动物检测;
步骤5:根据检测结果的置信度将包含野生动物的视频保存到相应的文件夹中;若输入的视频中有野生动物目标,且该段视频抽帧的所有图片中检测结果的置信度不小于0.75的数量大于85%,则将该视频中存在动物目标的视频片段保存在该动物类别的文件夹中;若检测结果的置信度不小于0.75的数量小于85%,则将该视频保存在需人工辨别的文件夹中;若输入视频中没有野生动物目标,则不保存该视频。
2.根据权利要求1所述的一种基于递归多特征融合的野生动物出没检测方法,其特征在于,在所述步骤3中:利用样本数据集对所建立的目标检测模型进行训练,包括步骤:步骤3.1:将标注后的样本数据集作为所建立的目标检测模型的输入,计算模型训练的loss值,判断本次训练是否收敛;
步骤3.2:反复迭代计算,loss值收敛,得到野生动物出没检测模型。
3.根据权利要求1所述的一种基于递归多特征融合的野生动物出没检测方法,其特征在于,在所述步骤4中:将自然保护区摄像头采集到的视频图片输入野生动物出没检测模型进行野生动物检测,包括步骤:
步骤4.1:将实时采集的视频抽帧处理成图片后作为野生动物出没检测模型的输入;
步骤4.2:由野生动物出没检测模型中Cascade R‑CNN模型的主干网络对输入图片进行特征提取,递归Re‑BiFPN结构对提取的特征图进行跨尺度连接和加权特征融合,经过Cascade R‑CNN预测层在每个特征图上获得一系列预测框、以及每个预测框的坐标值和置信度;
步骤4.3:根据阈值对所有预测框进行筛选,将筛选后的预测框的坐标值、类别和置信度作为网络输出。
说明书 :
一种基于递归多特征融合的野生动物出没检测方法
技术领域
背景技术
的数量,可以彰显野生动物保护成效,并警示野生动物保护的现状。因此,野生动物信息的
采集与分析是掌握野生动物生存状态的重要手段。当下对野生动物的检测保护是通过在自
然保护区内部署大量的摄像头设备进行定点录像并将录像保存下来。然而,由于摄像设备
的特性和环境因素的影响,比如落叶、下雨、风等因素都会触发摄像头的录像功能,大量没
有野生动物出没的视频也会保存下来。这就需要大量的人工进行视频筛选,挑选出视频中
有动物的片段。视频筛选人员是一个压力密集型的工作,长期处于高压高强度的工作环境
会出现野生动物出没的误检、漏检,而频繁换班雇佣大量的人员进行视频筛选需要消耗大
量的人力资源。因此,利用深度学习技术帮助研究人员检测视频中野生动物的出没情况,提
高工作效率具有重要意义。
快的检测速度,开始应用于各行各业。基于深度学习的目标检测网络包括两种类型:一类是
two‑stage检测算法,典型的方法包括R‑CNN系列算法以及基于R‑CNN算法的各种改进算法;
另一类是one‑stage检测算法,比如SSD及其衍生网络、YOLO系列算法。相比YOLO等一阶段算
法,二阶段算法的检测准确率更高。而Cascade R‑CNN是通过级联三个检测网络达到不断优
化预测结果的目的,与普通级联不同的是,Cascade R‑CNN的三个检测网络是基于不同IOU
阈值确定的正负样本上训练得到的。
Cascade R‑CNN网络提取动物的特征从而影响模型检测的准确率。因此,如何提高野生动物
目标检测的准确率,成为本领域技术人员继续解决的问题。
发明内容
遮挡、光线条件不好等不良视频采集情况下有效识别出野生动物。
在所述步骤1中,先对样本数据集进行预处理,包括:由于存在喜欢夜间活动的动物种类,样
本数据集中还包括不同光线条件下的数据;将样本图片进行随机的亮度处理,丰富不同光
线条件下的数据样本;将样本图片进行不同角度的旋转,模拟摄像头不同角度的拍摄效果;
将样本图片进行随机的马赛克遮挡,模拟动物被遮挡的情况;
所述递归Re‑BiFPN结构的输出进入Cascade R‑CNN目标检测模型的后续预测层;
BiFPN结构的输出端返回主干网络,主干网络再次连接第二BiFPN结构,经过第一BiFPN结构
和第二BiFPN结构的输出结果进行融合后作为最终输出结果,从而形成融合递归Re‑BiFPN
结构的Cascade R‑CNN目标检测模型。
络输出层,且输出给自底向上的输出特征层;自底向上的输出特征层连接自顶向下的中间
特征层和主干网络输出层,并由自底向上的输出特征层输出结果。
层输出的特征矩阵,利用函数 是获取特征矩阵 的大小, 是第k层的
由主干网络节点输出的特征矩阵,in代表主干网络输出层,td代表中间特征层;
征层输入该节点的特征矩阵的权重; 是第k+1层由中间特征层节点输出的特征矩阵,
是设定特征矩阵 的大小; 是第k‑1层由中间特征层节点输出的特征
矩阵,利用函数 是获取特征矩阵 的大小; 是第k层由主干网络节点输
出的特征矩阵, 是第k层由中间特征层节点输出的特征矩阵,in代表主干网络输出层,td
代表中间特征层。
构,用于实现Re‑BiFPN结构中的连接,并令 为ASPP模块的转换参数;同时,设置融合模块
将第一BiFPN结构输出和第二BiFPN结构输出进行融合后作为最终输出结果。
Cascade R‑CNN预测层在每个特征图上获得一系列预测框、以及每个预测框的坐标值和置
信度;步骤4.3:根据阈值对所有预测框进行筛选,将筛选后的预测框的坐标值、类别和置信
度作为网络输出。
的文件夹中;若检测结果的置信度不小于0.75的数量小于85%,则将该视频保存在需人工辨
别的文件夹中;若输入视频中没有野生动物目标,则不保存该视频。
特征融合,提升了网络的特征提取能力,降低了环境因素对模型检测结果的影响。本发明应
用于野生动物的出没检测降低了人力劳动成本,提高了研究人员的工作效率。
施中,改进Cascade R‑CNN目标检测模型的FPN结构,提出Re‑BiFPN特征融合方法。通过递归
连接将BiFPN层合并到自下而上的主干层,实现了更加高效的跨尺度连接和加权特征融合,
提升了网络的特征提取能力。该方法可以准确检测出动物被遮挡的情况,还可以显著减少
模型对夜晚出没动物的误检和漏检。利用自然保护区部署的摄像头采集大量野生动物的视
频数据,训练出基于Cascade R‑CNN算法的野生动物出没检测模型。本发明能够以较高置信
度实时地对野生动物的出没进行检测并将检测到的视频保存在本地磁盘中供科研人员研
究使用。
附图说明
具体实施方式
物检测的精准性,在所述步骤1中,先对样本数据集进行预处理,包括:由于存在喜欢夜间活
动的动物种类,样本数据集中还包括不同光线条件下的数据;将样本图片进行随机的亮度
处理,丰富不同光线条件下的数据样本;将样本图片进行不同角度的旋转,模拟摄像头不同
角度的拍摄效果;将样本图片进行随机的马赛克遮挡,模拟动物被遮挡的情况;
层连接递归Re‑BiFPN结构,所述递归Re‑BiFPN结构的输出进入Cascade R‑CNN目标检测模
型的后续预测层;
别C(C1、C2、C3) ,如图2中B0是初始预测框。
络,所述第一BiFPN结构的输出端返回主干网络,主干网络再次连接第二BiFPN结构,经过第
一BiFPN结构和第二BiFPN结构的输出结果进行融合后作为最终输出结果,从而形成融合递
归Re‑BiFPN结构的Cascade R‑CNN目标检测模型。图中,P3、P4、P5、P6、P7是网络节点。
层,且输出给自底向上的输出特征层;自底向上的输出特征层连接自顶向下的中间特征层
和主干网络输出层,并由自底向上的输出特征层输出结果。
层输出的特征矩阵,利用函数 是获取特征矩阵 的大小, 是第k层的
由主干网络节点输出的特征矩阵,in代表主干网络输出层,td代表中间特征层;
征层输入该节点的特征矩阵的权重; 是第k+1层由中间特征层节点输出的特征矩阵,
是设定特征矩阵 的大小; 是第k‑1层由中间特征层节点输出的特征
矩阵,利用函数 是获取特征矩阵 的大小; 是第k层由主干网络节点输
出的特征矩阵, 是第k层由中间特征层节点输出的特征矩阵,in代表主干网络输出层,td
代表中间特征层。
BiFPN结构和第二BiFPN结构,用于实现Re‑BiFPN结构中的连接,并令 为ASPP模块的转换
参数;同时,设置融合模块将第一BiFPN结构输出和第二BiFPN结构输出进行融合后作为最
终输出结果。其中,ASPP(Atrous Spatial Pyramid Pooling)是空洞空间卷积池化金字塔。
Cascade R‑CNN预测层在每个特征图上获得一系列预测框、以及每个预测框的坐标值和置
信度;步骤4.3:根据阈值对所有预测框进行筛选,将筛选后的预测框的坐标值、类别和置信
度作为网络输出。
的文件夹中;若检测结果的置信度不小于0.75的数量小于85%,则将该视频保存在需人工辨
别的文件夹中;若输入视频中没有野生动物目标,则不保存该视频。
模型训练结束后,对800张图片进行测试。
率初始化为0.005,并且在第16、22个Epoch时降低学习率,衰减系数为0.001。使用随机梯度
下降法进行网络参数优化,权值衰减系数为0.0001。
发明的原理,在不脱离本发明精神和范围的前提下,本发明还会有各种变化和改进,这些变
化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其
等效物界定。