一种雨雪天气下的室外运动目标检测系统

摘要

预警的问题。本发明涉及运动目标检测技术领域，提出了一种雨雪天气下的室外运动目标检测系统，包括数据采集模块，所述数据采集模块的输出端与目标检测模块的输入端相连，所述数据采集模块包括摄像头模块和传感器模块，所述目标检测模块的输出端与数据预处理模块的输入端相连，所述数据预处理模块的输出端与运动轨迹分析模块的输入端相连，所述运动轨迹分析模块的输出端与环境感知模块的输入端相连，所述环境感知模块的输出端与遮挡处理模块的输入端相连。通过上述技术方案，解决了现有的运动状态检测系统不能够在不同环境下对群体和单个目标的特征(56)对比文件US 2019187720 A1,2019.06.20WO 2021041854 A1,2021.03.04WO 2022111219 A1,2022.06.02张伟."复杂天气条件下高速公路交通状态感知及应急处置关键技术研究"《.中国博士学位论文全文数据库 工程科技Ⅱ辑》.2023,(第5期),C034-37.魏运“.道路移动视觉环境感知中的多目标识别与跟踪方法研究”《.中国学位论文全文数据库》.2014,第1-136页.M. Zou等."A Novel Day-to-NightObstacle Detection Method for ExcavatorsBased on Image Enhancement andMultisensor Fusion"《.IEEE SensorsJournal》.2023,第23卷(第10期),第10825-10835页.

权利要求

1.一种雨雪天气下的室外运动目标检测系统，包括数据采集模块，其特征在于：所述数据采集模块的输出端与目标检测模块的输入端相连，所述数据采集模块包括摄像头模块和传感器模块，所述目标检测模块的输出端与数据预处理模块的输入端相连，所述数据预处理模块的输出端与运动轨迹分析模块的输入端相连，所述运动轨迹分析模块的输出端与环境感知模块的输入端相连，所述环境感知模块的输出端与遮挡处理模块的输入端相连，所述遮挡处理模块的输出端与目标识别模块的输入端相连，所述目标识别模块的输出端与关联模块的输入端相连，所述关联模块的输出端与跟踪模块的输入端相连，所述跟踪模块的输出端与图像去噪神经网络的输入端相连，所述图像去噪神经网络的输出端与结果输出模块的输入端相连，所述目标识别模块包括特征提取模块、特征选择模块、分类器模块和后处理模块，所述关联模块包括群体分析模块和目标分析模块；

所述目标检测模块包括物体检测模块、姿态检测模块和动作识别模块，所述姿态检测模块包括关键节点检测模块和运动预测模块；

所述物体检测模块包括行人检测模块、车辆检测模块和静物识别模块，所述动作识别模块包括动作分类模块和动作跟踪模块。

2.根据权利要求1所述的一种雨雪天气下的室外运动目标检测系统，其特征在于，所述数据预处理模块包括图像视频增强模块、图像视频校正模块和图像视频调整模块，所述运动轨迹分析模块包括运动轨迹提取模块和运动轨迹匹配模块。

3.根据权利要求1所述的一种雨雪天气下的室外运动目标检测系统，其特征在于，所述环境感知模块包括光照检测模块、天气识别模块和场景分析模块，所述遮挡处理模块包括遮挡检测模块、遮挡物清理模块和遮挡感知模块。

4.根据权利要求1所述的一种雨雪天气下的室外运动目标检测系统，其特征在于，所述特征提取模块包括卷积层、池化层和标准化层，所述特征选择模块包括特征选择算法，所述特征选择算法包括主成分分析和互信息。

5.根据权利要求1所述的一种雨雪天气下的室外运动目标检测系统，其特征在于，所述分类器模块包括支持向量机、随机森林和深度学习模型，所述深度学习模型包括卷积神经网络。

6.根据权利要求1所述的一种雨雪天气下的室外运动目标检测系统，其特征在于，所述后处理模块包括阈值处理、边界框的合并和非极大值抑制。

7.根据权利要求1所述的一种雨雪天气下的室外运动目标检测系统，其特征在于，所述跟踪模块包括单目标追踪模块、多目标追踪模块和目标状态预测模块。

8.根据权利要求1所述的一种雨雪天气下的室外运动目标检测系统，其特征在于，所述图像去噪神经网络包括数据准备，所述数据准备的输出端与构建神经网络的输入端相连，所述构建神经网络的输出端与数据整理的输入端相连，所述数据整理的输出端与训练网络的输入端相连，所述训练网络的输出端与后处理的输入端相连，所述后处理的输出端与性能评估的输入端相连。

说明书

一种雨雪天气下的室外运动目标检测系统

技术领域

[0001] 本发明涉及运动目标检测技术领域，具体的，涉及一种雨雪天气下的室外运动目标检测系统。

背景技术

[0002] 室外目标检测是指在恶劣的天气条件下，如下雨或下雪的情况下，对室外场景中进行目标检测的任务。目标检测是计算机视觉领域的一个重要任务，旨在识别和定位图像或视频中的特定目标，为了检测路况信息，需要使用运动目标检测系统，现有的室外运动目标检测系统还存在一些缺陷。

[0003] 例如公开号CN105160689B公开的一种针对雨雪天气的运动目标检测方法，利用现有技术的背景差法的不足，从其误检中分析总结出规律，再通过二次分类来优化检测结果，易于实现，不需要复杂的算法处理，提高雨雪天气视频图像的检测准确度，克服雨雪天气下视频图像受到的动态背景的干扰。上述检测方法虽然能够实现二次分类和优化的功能，但在实际使用时，不能够对不同的物体进行分类，不能够对姿态和动作进行识别，而且现有的运动目标检测系统，不能够在不同环境下对群体和单个目标的特征进行提取和分析，不具备多目标追踪和目标状态预测功能，不能够根据预测的目标状态进行提前预警，不具备预警功能。

发明内容

[0004] 本发明提出一种雨雪天气下的室外运动目标检测系统，解决了现有的运动状态检测系统不能够在不同环境下对群体和单个目标的特征进行提取和分析，不具备多目标追踪和目标状态预测功能，不能够根据预测的目标状态进行提前预警的问题。

[0005] 本发明的技术方案如下：

[0006] 一种雨雪天气下的室外运动目标检测系统，包括数据采集模块，所述数据采集模块的输出端与目标检测模块的输入端相连，所述数据采集模块包括摄像头模块和传感器模块，所述目标检测模块的输出端与数据预处理模块的输入端相连，所述数据预处理模块的输出端与运动轨迹分析模块的输入端相连，所述运动轨迹分析模块的输出端与环境感知模块的输入端相连，所述环境感知模块的输出端与遮挡处理模块的输入端相连，所述遮挡处理模块的输出端与目标识别模块的输入端相连，所述目标识别模块的输出端与关联模块的输入端相连，所述关联模块的输出端与跟踪模块的输入端相连，所述跟踪模块的输出端与图像去噪神经网络的输入端相连，所述图像去噪神经网络的输出端与结果输出模块的输入端相连，所述目标识别模块包括特征提取模块、特征选择模块、分类器模块和后处理模块，所述关联模块包括群体分析模块和目标分析模块。

[0007] 作为本发明的一种优先方案，所述目标检测模块包括物体检测模块、姿态检测模块和动作识别模块，所述姿态检测模块包括关键节点检测模块和运动预测模块。

[0008] 作为本发明的一种优先方案，所述物体检测模块包括行人检测模块、车辆检测模块和静物识别模块，所述动作识别模块包括动作分类模块和动作跟踪模块。

[0009] 作为本发明的一种优先方案，所述数据预处理模块包括图像视频增强模块、图像视频校正模块和图像视频调整模块，所述运动轨迹分析模块包括运动轨迹提取模块和运动轨迹匹配模块。

[0010] 作为本发明的一种优先方案，所述环境感知模块包括光照检测模块、天气识别模块和场景分析模块，所述遮挡处理模块包括遮挡检测模块、遮挡物清理模块和遮挡感知模块。

[0011] 作为本发明的一种优先方案，所述特征提取模块包括卷积层、池化层和标准化层，所述特征选择模块包括特征选择算法，所述特征选择算法包括主成分分析和互信息。

[0012] 作为本发明的一种优先方案，所述分类器模块包括支持向量机、随机森林和深度学习模型，所述深度学习模型包括卷积神经网络。

[0013] 作为本发明的一种优先方案，所述后处理模块包括阈值处理、边界框的合并和非极大值抑制。

[0014] 作为本发明的一种优先方案，所述跟踪模块包括单目标追踪模块、多目标追踪模块和目标状态预测模块。

[0015] 作为本发明的一种优先方案，所述图像去噪神经网络包括数据准备，所述数据准备的输出端与构建神经网络的输入端相连，所述构建神经网络的输出端与数据整理的输入端相连，所述数据整理的输出端与训练网络的输入端相连，所述训练网络的输出端与后处理的输入端相连，所述后处理的输出端与性能评估的输入端相连。

[0016] 本发明的工作原理及有益效果为：

[0017] 1、通过设置的物体检测模块，用于对行人、车辆以及静物进行识别和分类，从而实现物体分类功能，通过动作识别模块对动作分类和跟踪，从而实现动作识别功能，利用数据预处理模块对图像视频进行增强和校正，根据不同的雨雪天气对图像视频自动调整，以保证图像和视频的清晰度，解决了现有的运动目标检测系统不能够对不同的物体进行分类，不能够对姿态和动作进行识别的缺陷。

[0018] 2、设置有环境感知模块、关联模块和跟踪模块，该系统能够对当前环境的光照、天气和场景进行识别，从而在不同的场景下增强不同的识别功能，关联模块能够对群体或单个目标进行分析和检测，再利用跟踪模块中的单目标和多目标追踪模块对单个或多个目标进行追踪，根据追踪目标的行为对目标状态进行预测，从而实现在不同环境下对群体和单个目标的特征进行提取和分析的功能，解决了现有的运动目标检测系统不能够在不同环境下对群体和单个目标的特征进行提取和分析，该系统具备多目标追踪和目标状态预测功能，能够根据追踪目标的预测状态进行提前预警，具有使用更安全的优势。

[0019] 3、设置有特征提取模块、特征选择模块、分类器模块和后处理模块，特征提取模块中的卷积层能够检测出不同尺度和方向的特征，如边缘、纹理或形状，池化层能够提取关键特征，减少特征图的大小并保留重要的空间信息，标准化层能够对特征进行标准化处理，以增强模型的鲁棒性和训练的稳定性，减少不同特征之间的相关性。

[0020] 4、通过图像去噪神经网络和静物识别模块，静物识别模块识别出的静物作为背景，通过清晰的雨滴下落和落雪视频收集雨滴和落雪的运动数据，基于形状、颜色、纹理、运动等方面使用滤波器提取雨滴和落雪的特征，通过检测图像中的边缘信息，将边缘作为目标和背景之间的分界线，将视频中的雨滴或落雪从背景中分离出来，实现雨雪和背景分离的功能。降噪处理后视频填补雨滴和落雪区域的空白部分利用半透明静物识别模块中识别出的背景填充，可提升图像视频的可识别程度。

附图说明

[0021] 下面结合附图和具体实施方式对本发明作进一步详细的说明。

[0022] 图1是本发明一种雨雪天气下的室外运动目标检测系统示意图；

[0023] 图2是本发明姿态监测模块示意图；

[0024] 图3是本发明目标识别模块示意图；

[0025] 图4是本发明图像降噪神经网络流程图。

具体实施方式

[0026] 下面将结合本发明实施例，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都涉及本发明保护的范围。

[0027] 实施例1

[0028] 如图1‑图3所示，本实施例提出了一种雨雪天气下的室外运动目标检测系统，包括数据采集模块，数据采集模块的输出端与目标检测模块的输入端相连，数据采集模块包括摄像头模块和传感器模块，目标检测模块的输出端与数据预处理模块的输入端相连，数据预处理模块的输出端与运动轨迹分析模块的输入端相连，运动轨迹分析模块的输出端与环境感知模块的输入端相连，环境感知模块的输出端与遮挡处理模块的输入端相连，遮挡处理模块的输出端与目标识别模块的输入端相连，目标识别模块的输出端与关联模块的输入端相连，关联模块的输出端与跟踪模块的输入端相连，跟踪模块的输出端与图像去噪神经网络的输入端相连，图像去噪神经网络的输出端与结果输出模块的输入端相连，结果输出模块包括可视化模块和交互模块，目标识别模块包括特征提取模块、特征选择模块、分类器模块和后处理模块，关联模块包括群体分析模块和目标分析模块，群体分析模块包括群体检测模块、群体行为识别模块和移动模式分析模块，目标分析模块包括目标特征抽取模块和目标关联算法模块，通过清晰的雨滴下落和落雪视频收集雨滴和落雪的运动数据，基于形状、颜色、纹理、运动等方面使用滤波器提取雨滴和落雪的特征，通过检测图像中的边缘信息，将边缘作为目标和背景之间的分界线，将视频中的雨滴或落雪从背景中分离出来，实现雨雪和背景分离的功能。

[0029] 实施例2

[0030] 如图1‑图4所示，基于与上述实施例1相同的构思，本实施例还提出了一种雨雪天气下的室外运动目标检测系统。

[0031] 本实施例中，目标检测模块包括物体检测模块、姿态检测模块和动作识别模块，姿态检测模块包括关键节点检测模块和运动预测模块，关键节点检测模块用于对行人运动关节进行检测，从而判断行人的新闻和预测行人下一步动作，物体检测模块用于对运动物体进行分类，姿态检测模块和动作识别模块用于对行人的姿态和动作进行识别。

[0032] 本实施例中，物体检测模块包括行人检测模块、车辆检测模块和静物识别模块，对车辆和行人进行识别和分类，动作识别模块包括动作分类模块和动作跟踪模块，静物识别模块识别静物作为背景，以便后续将动态物体和静物以及雨雪进行分离。

[0033] 本实施例中，数据预处理模块包括图像视频增强模块、图像视频校正模块和图像视频调整模块，数据预处理模块能够根据环境变化对图像视频进行预处理，以保证视频的清晰度和对比度，运动轨迹分析模块包括运动轨迹提取模块和运动轨迹匹配模块，提取运动轨迹和匹配运动轨迹，以便对不同人群或车辆进行分类。

[0034] 本实施例中，环境感知模块包括光照检测模块、天气识别模块和场景分析模块，遮挡处理模块包括遮挡检测模块、遮挡物清理模块和遮挡感知模块，通过遮挡物检测模块检测摄像头是否存在遮挡物，通过遮挡物感知模块，分析遮挡物的性质，从而利用遮挡物清理模块进行不同方式的清理。

[0035] 本实施例中，特征提取模块包括卷积层、池化层和标准化层，特征选择模块包括特征选择算法，特征选择算法包括主成分分析和互信息，卷积层是深度学习模型中的核心组件，卷积层通过对输入数据进行卷积操作来提取特征，检测出不同尺度和方向的边缘、纹理或形状特征，池化层用于减少特征图的尺寸，并提取关键特征，从而减少特征图的大小并保留重要的空间信息，标准化层用于对特征进行规范化处理，以增强模型的鲁棒性和训练的稳定性，标准化用于对特征进行零均值化和单位方差化，减少特征间的相关性。

[0036] 本实施例中，分类器模块包括支持向量机、随机森林和深度学习模型，深度学习模型包括卷积神经网络，支持向量机用于二分类和多分类任务，建立一个决策边界，将不同类别的样本分隔开，并通过最大化分类间隔来实现高性能的目标分类。随机森林通过组合多个决策树来进行分类，每个决策树基于随机选择的特征子集和样本子集进行训练，最终的分类结果由所有决策树投票或平均得出。深度学习模型指基于卷积神经网络的模型，模型能够自动学习从原始数据中提取抽象的特征表示，并在目标分类任务中取得出色的性能。

[0037] 本实施例中，后处理模块包括阈值处理、边界框的合并和非极大值抑制，阈值处理用于将分类器输出的概率或得分转换为二进制的目标或非目标标签，通过设置阈值，以控制分类的准确性和召回率。边界框的合并用于将多个重叠的边界框合并为更大的边界框或更准确的目标边界框，有助于消除多余的重叠和冗余边界框，提供更准确的检测结果，非极大值抑制用于在目标检测中去除重叠的边界框，只保留置信度最高的边界框，从而消除重复检测或重叠目标，提供更干净和准确的检测结果。

[0038] 本实施例中，跟踪模块包括单目标追踪模块、多目标追踪模块和目标状态预测模块，单目标追踪模块和多目标追踪模块用于对不同类型的目标进行追踪，目标状态预测模块能够对不同类型目标的运动状态进行预测，从而提前预警。

[0039] 本实施例中，图像去噪神经网络包括数据准备，数据准备的输出端与构建神经网络的输入端相连，构建神经网络的输出端与数据整理的输入端相连，数据整理的输出端与训练网络的输入端相连，训练网络的输出端与后处理的输入端相连，后处理的输出端与性能评估的输入端相连，收集包含雨滴和落雪的室外运动视频数据，并将其划分为训练集和测试集。如果有可用的清晰图像作为参考，构建卷积神经网络，输入受到雨滴和落雪噪声影响的带噪图像序列，对神经网络进行训练，使得网络学习到如何去除雨滴和落雪的噪声，使用测试集中的带噪图像序列进行网络性能评估，将测试图像序列输入到训练好的神经网络中，获取网络输出的去噪图像序列，对网络输出的去噪图像序列进行后处理，通过峰值信噪比和结构相似性指数评估网络去除雨滴和落雪噪声的效果。

[0040] 具体的，本发明为一种雨雪天气下的室外运动目标检测系统，首先，如图1‑图4所示，通过摄像头和传感器采集视频数据，目标检测模块，用于对目标的物体类别、姿态和动作进行检测和识别，物体检测模块用于对行人、车辆和静物进行识别和分类，静物识别模块作为后续降噪时的背景使用，动作识别模块用于对动作分类并进行动作跟踪。将目标检测模块的数据输入数据预处理模块，数据预处理模块可用于增强图像视频、矫正图像视频和调整图像视频。数据预处理模块将处理后的图像视频输入值运动轨迹分析模块，用于分析之前分类的不同物体的运动轨迹，并匹配相似的运动轨迹，从而对单个目标和群体目标进行分类。姿态检测模块中的关键节点检测模块用于对行人运动关节进行检测，从而判断行人的新闻和预测行人下一步动作。将分类后的数据传输至环境感知模块，环境感知模块用于对光照进行检测、识别天气以及进行场景分析，场景分析模块根据不同的场景对不同类别的物体进行不同程度地检测，通过遮挡物处理模块对是否存在遮挡物进行检测，遮挡物感知模块用于感知遮挡物的性质，从而通过遮挡物清理模块进行不同程度地清理。

[0041] 通过提取特征、选择特征、分类器和后处理对目标进行识别，特征提取模块中，卷积层是深度学习模型中的核心组件，通过对输入数据进行卷积操作来提取特征，从而检测出不同尺度和方向的特征，如边缘、纹理或形状。池化层用于减少特征图的尺寸，并提取关键特征，池化层可以帮助减少特征图的大小并保留重要的空间信息。标准化层用于对特征进行规范化处理，以增强模型的鲁棒性，标准化可以对特征进行零均值化和单位方差化，减少特征间的相关性，从而提升训练的稳定性。利用主成分分析和互信息是常用的特征选择算法，从而减少特征维度并提高分类性能。分类器中，支持向量机作为监督学习算法，用于二分类和多分类任务，支持向量机建立一个决策边界，将不同类别的样本分隔开，并通过最大化分类间隔来实现高性能的目标分类。随机森林作为集成学习算法，通过组合多个决策树来进行分类。每个决策树基于随机选择的特征子集和样本子集进行训练，最终的分类结果由所有决策树投票或平均得出。卷积神经网络作为深度学习模型，可以自动学习从原始数据中提取抽象的特征表示，并在目标分类任务中取得出色的性能。后处理模块中，阈值处理用于将分类器输出的概率或得分转换为二进制的目标或非目标标签，阈值处理通过设置适当的阈值，控制分类的准确性和召回率。边界框的合并用于将多个重叠的边界框合并为更大的边界框或更准确的目标边界框，有助于消除多余的重叠和冗余边界框，提供更准确的检测结果。非极大值抑制用于在目标检测中去除重叠的边界框，只保留置信度最高的边界框，从而有效地消除重复检测或重叠目标，提供更准确的检测结果。通过整体协同工作以提取特征、选择有效的特征、使用合适的分类器进行分类，并进行后处理以优化分类结果。群体分析模块和目标分析模块组成关联模块，但目标追踪模块、多目标追踪模块和目标状态预测模块组成跟踪模块，从而对之前分类的单个或群体目标进行分类分析和跟踪，群体分析模块中的群体行为识别模块和群体移动分析模块，用于对群体行为和群体移动模式进行识别和分析。

[0042] 图像去噪神经网络用于对落雪和雨滴和背景进行分离，先准备数据，收集包含雨滴和落雪的室外运动视频数据，并将其划分为训练集和测试集，选用清晰图像和视频作为参考，然后构建神经网络，卷积神经网络输入受到雨滴和落雪噪声影响的带噪图像序列。将输入的带噪图像序列进行预处理，以便输入到神经网络中进行处理，使用训练集中的带噪图像序列作为输入，对神经网络进行训练。训练过程中，网络通过前向传播和反向传播优化损失函数，使得网络学习到如何去除雨滴和落雪的噪声。使用测试集中的带噪图像序列进行网络性能评估。将测试图像序列输入到训练好的神经网络中，获取网络输出的去噪图像序列。对网络输出的去噪图像序列进行后处理，填补雨滴和落雪区域的空白部分利用半透明静物识别模块中识别出的背景填充，改善图像的视觉效果。使用峰值信噪比和结构相似性指数评价指标来评估网络去除雨滴和落雪噪声的效果，比较去噪后的图像序列与原始清晰图像之间的相似性。最后通过屏幕和交互模块输出降噪处理后的视频。

[0043] 以上仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。