基于运动帧差图像的移动目标检测方法及检测装置

摘要

本申请公开了一种基于运动帧差图像的移动目标检测方法及检测装置，其中，所述移动目标检测方法，包括：获取待处理视频数据；预处理所述待处理视频数据，得到预设尺寸的初始图像集；采用图像差分法对所述初始图像集中的连续帧图像分类，得到只有背景的背景图像数据集和有移动目标的待检测图像数据集；采用对称差分分割算法处理所述背景图像数据集和所述待检测图形数据集，得到初始差分图像数据集；对所述初始差分图像数据集进行形态学处理，得到待检测差分图像数据集；通过预训练的深度学习模型处理所述待检测差分图像数据集，得到移动目标检测结果，以此降低实现移动目标检测时的功耗和实施成本。

权利要求

1.一种基于运动帧差图像的移动目标检测方法，其特征在于，包括以下具体步骤：获取待处理视频数据；

预处理所述待处理视频数据，得到预设尺寸的初始图像集；

采用图像差分法对所述初始图像集中的连续帧图像分类，得到只有背景的背景图像数据集和有移动目标的待检测图像数据集；

采用对称差分分割算法处理所述背景图像数据集和所述待检测图像数据集，得到初始差分图像数据集；

对所述初始差分图像数据集进行形态学处理，得到待检测差分图像数据集；

通过预训练的深度学习模型处理所述待检测差分图像数据集，得到移动目标检测结果；

其中，采用对称差分分割算法处理所述背景图像数据集和所述待检测图像数据集，得到初始差分图像数据集，包括以下具体步骤：计算所述背景图像数据集和所述待检测图像数据集中按视频序列排列的两帧源图像的绝对差灰度图像，得到绝对差灰度图像集；

对所述绝对差灰度图像集中的绝对差灰度图像进行中值滤波，得到滤波图像集；

二值化处理所述滤波图像集，得到初始差分图像数据集；

所述深度学习模型通过以下步骤训练得到：

获取训练视频数据；

预处理所述训练视频数据，得到预设尺寸的初始训练图像集；

采用图像差分法对所述初始训练图像集中的连续帧图像分类，得到只有背景的背景图像训练数据集和有移动目标的目标训练数据集；

采用对称差分分割算法处理所述背景图像训练数据集和所述目标训练数据集，得到初始差分图像训练数据集；

对所述初始差分图像训练数据集进行形态学处理，得到待训练差分图像数据集；

样本化处理所述待训练差分图像数据集，得到训练图像样本集；

标注所述训练图像样本集，得到标注数据集；

用所述标注数据集训练深度神经网络模型，得到神经网络模型参数；

根据所述深度神经网络模型和所述神经网络模型参数，得到预训练的深度学习模型。

2.根据权利要求1所述的移动目标检测方法，其特征在于，预处理所述待处理视频数据，得到预设尺寸的初始图像集，包括以下具体步骤：按预设时间间隔选取所述待处理视频数据中的帧图像，得到待处理视频图像数据；

灰度化处理所述待处理视频图像数据，得到灰度图像数据集；

增强处理所述灰度图像数据集，得到增强图像数据集；

对所述增强图像数据集进行像素采样，按照预设比例和预设分辨率填充图像，得到预设尺寸的初始图像集。

3.根据权利要求2所述的移动目标检测方法，其特征在于，所述增强处理包括灰度级变换、平滑滤波、锐化滤波、低通滤波、高通滤波、小波变换、同态滤波和Retinex图像增强。

4.根据权利要求1所述的移动目标检测方法，其特征在于，对所述初始差分图像数据集进行形态学处理，得到待检测差分图像数据集，包括以下具体步骤：对所述初始差分图像数据集进行形态学操作，得到形态学图像数据集；

对所述形态学图像数据集进行填充操作，得到待检测差分图像数据集。

5.根据权利要求4所述的移动目标检测方法，其特征在于，所述形态学操作包括：平滑处理、边缘提取、区域填充、击中不击中变换、细化、膨胀运算、腐蚀运算、开运算、闭运算、Top‑hat和Bottom‑hat变换。

6.根据权利要求1所述的移动目标检测方法，其特征在于，所述深度神经网络模型具有传输函数，并具有至少一个隐藏层。

7.根据权利要求1所述的移动目标检测方法，其特征在于，所述标注数据集为二维的二值化数据，转化成一维二值化数组后作为所述深度神经网络模型的输入数据。

8.一种基于运动帧差图像的移动目标检测装置，其特征在于，包括：采集模块，用于获取待处理视频数据；

预处理模块，用于预处理所述待处理视频数据，得到预设尺寸的初始图像集；

计算模块，用于采用图像差分法对所述初始图像集中的连续帧图像分类，得到只有背景的背景图像数据集和有移动目标的待检测图像数据集；还用于采用对称差分分割算法处理所述背景图像数据集和所述待检测图像数据集，得到初始差分图像数据集；还用于对所述初始差分图像数据集进行形态学处理，得到待检测差分图像数据集；

检测模块，用于通过预训练的深度学习模型处理所述待检测差分图像数据集，得到移动目标检测结果；

其中，计算模块还用于采用对称差分分割算法处理所述背景图像数据集和所述待检测图像数据集，得到初始差分图像数据集，具体用于：计算所述背景图像数据集和所述待检测图像数据集中按视频序列排列的两帧源图像的绝对差灰度图像，得到绝对差灰度图像集；

对所述绝对差灰度图像集中的绝对差灰度图像进行中值滤波，得到滤波图像集；

二值化处理所述滤波图像集，得到初始差分图像数据集；

所述深度学习模型通过以下步骤训练得到：

获取训练视频数据；

预处理所述训练视频数据，得到预设尺寸的初始训练图像集；

采用图像差分法对所述初始训练图像集中的连续帧图像分类，得到只有背景的背景图像训练数据集和有移动目标的目标训练数据集；

采用对称差分分割算法处理所述背景图像训练数据集和所述目标训练数据集，得到初始差分图像训练数据集；

对所述初始差分图像训练数据集进行形态学处理，得到待训练差分图像数据集；

样本化处理所述待训练差分图像数据集，得到训练图像样本集；

标注所述训练图像样本集，得到标注数据集；

用所述标注数据集训练深度神经网络模型，得到神经网络模型参数；

根据所述深度神经网络模型和所述神经网络模型参数，得到预训练的深度学习模型。

说明书

基于运动帧差图像的移动目标检测方法及检测装置

技术领域

[0001] 本申请涉及计算机视觉和人工智能应用技术领域，尤其涉及一种基于运动帧差图像的移动目标检测方法及检测装置。

背景技术

[0002] 深度学习是图像、视频智能处理发展的关键技术，也是未来智能化系统的重要实现途径。深度学习提升了计算机视觉的检测和分类的性能，克服了原本靠人工设计特征的方式的不足。深度学习在诸多重要领域都有优异的表现，包括先进的驾驶辅助和自动驾驶系统。人们研究的焦点落在对生存和生活环境监控的摄像机、雷达、传感器和综合系统所获取的图像、视频数据进行智能化处理和分析。尤其是对行人和移动车辆的检测，人们的需求越来越迫切，对智能化交通管理系统来说也越来越不可或缺，对相应的检测方法和性能也有了更高的要求。过去十年，基于视觉的物体检测理论和技术方法已经得到了长足的发展。随着公共数据库的完善，进一步促进了物体检测技术的发展。行人检测技术从一开始的人工设计特征，发展到简单模型，到如今的深度学习。随着机器的性能和人脑的性能越来越接近，行人检测的性能将能够比拟人脑的性能。

[0003] 在实现现有技术的过程中，发明人发现：

[0004] 目前深度学习进行行人检测所面临的一个重要难题是，如何处理复杂和具有挑战性的场景。为了训练得到高性能的神经网络，需要非常高的检测手段获得足够准确的数据集。并且，这些数据集要包含各种各样的场景，以满足各种需求。通常情况下，对于特别场景的行人检测，会采用实际获取的图像对深度学习网络进行训练。这带来的一个重要问题是，如果监控设备进行移动或者要在多个监控设备上部署这个神经网络，也就是场景进行了迁移，那么需要重新对神经网络进行训练。这个过程所花费的时间和成本是十分巨大的，这也是制约人工智能广泛应用的一个重要因素。

[0005] 因此，需要提供一种可以应对场景迁移问题的降低实施成本的移动目标检测的相关技术方案。

发明内容

[0006] 本申请实施例提供一种可以应对场景迁移问题的降低实施成本的移动目标检测的相关技术方案，用以解决移动目标检中的场景迁移问题，并且降低运算量，实现成本低，能够广泛地运用到智能视频监控系统中，应用于安全安保、工业控制和交通管控等领域，有助于智慧社区和智慧城市的建设。

[0007] 本申请提供的一种基于运动帧差图像的移动目标检测方法，包括以下具体步骤：

[0008] 获取待处理视频数据；

[0009] 预处理所述待处理视频数据，得到预设尺寸的初始图像集；

[0010] 采用图像差分法对所述初始图像集中的连续帧图像分类，得到只有背景的背景图像数据集和有移动目标的待检测图像数据集；

[0011] 采用对称差分分割算法处理所述背景图像数据集和所述待检测图形数据集，得到初始差分图像数据集；

[0012] 对所述初始差分图像数据集进行形态学处理，得到待检测差分图像数据集；

[0013] 通过预训练的深度学习模型处理所述待检测差分图像数据集，得到移动目标检测结果。

[0014] 进一步的，预处理所述待处理视频数据，得到预设尺寸的初始图像集，包括以下具体步骤：

[0015] 按预设时间间隔选取所述待处理视频数据中的帧图像，得到待处理视频图像数据；

[0016] 灰度化处理所述待处理视屏图像数据，得到灰度图像数据集；

[0017] 增强处理所述灰度图像数据集，得到增强图像数据集；

[0018] 对所述增强图像数据集进行像素采样，按照预设比例和预设分辨率填充图像，得到预设尺寸的初始图像集。

[0019] 进一步的，所述增强处理包括灰度级变换、平滑滤波、锐化滤波、低通滤波、高通滤波、小波变换、同态滤波和Retinex图像增强。

[0020] 进一步的，采用对称差分分割算法处理所述背景图像数据集和所述待检测图形数据集，得到初始差分图像数据集，包括以下具体步骤：

[0021] 计算所述背景图像数据集和所述待检测图像数据集中按视频序列排列的两帧源图像的绝对差灰度图像，得到绝对差灰度图像集；

[0022] 对所述绝对差灰度图像集中的绝对差灰度图像进行中值滤波，得到滤波图像集；

[0023] 二值化处理所述滤波图像集，得到初始差分图像数据集。

[0024] 进一步的，对所述初始差分图像数据集进行形态学处理，得到待检测差分图像数据集，包括以下具体步骤：

[0025] 对所述初始差分图像数据集进行形态学操作，得到形态学图像数据集；

[0026] 对所述形态学图像数据集进行填充操作，得到待检测差分图像数据集。

[0027] 进一步的，所述形态学操作包括：平滑处理、边缘提取、区域填充、击中不击中变换、细化、膨胀运算、腐蚀运算、开运算、闭运算、Top‑hat和Bottom‑hat变换。

[0028] 进一步的，所述深度学习模型通过以下步骤训练得到：

[0029] 获取训练视频数据；

[0030] 预处理所述训练视频数据，得到预设尺寸的初始训练图像集；

[0031] 采用图像差分法对所述初始训练图像集中的连续帧图像分类，得到只有背景的背景图像训练数据集和有移动目标的目标训练数据集；

[0032] 采用对称差分分割算法处理所述背景图像训练数据集和所述目标训练数据集，得到初始差分图像训练数据集；

[0033] 对所述初始差分图像训练数据集进行形态学处理，得到待训练差分图像数据集；

[0034] 样本化处理所述待训练差分图像数据集，得到训练图像样本集；

[0035] 标注所述训练图像样本集，得到标注数据集；

[0036] 用所述标注数据集训练深度神经网络模型，得到神经网络模型参数；

[0037] 根据所述深度神经网络模型和所述神经网络模型参数，得到预训练的深度学习模型。

[0038] 进一步的，所述深度神经网络模型具有传输函数，并具有至少一个隐藏层。

[0039] 进一步的，所述标注数据集为二维的二值化数据，转化成一维二值化数组后作为所述深度神经网络模型的输入数据。

[0040] 本申请还提供一种基于运动帧差图像的移动目标检测装置，包括：

[0041] 采集模块，用于获取待处理视频数据；

[0042] 预处理模块，用于预处理所述待处理视频数据，得到预设尺寸的初始图像集；

[0043] 计算模块，用于采用图像差分法对所述初始图像集中的连续帧图像分类，得到只有背景的背景图像数据集和有移动目标的待检测图像数据集；还用于采用对称差分分割算法处理所述背景图像数据集和所述待检测图形数据集，得到初始差分图像数据集；还用于对所述初始差分图像数据集进行形态学处理，得到待检测差分图像数据集；

[0044] 检测模块，用于通过预训练的深度学习模型处理所述待检测差分图像数据集，得到移动目标检测结果。

[0045] 本申请提供的实施例至少具有以下有益效果：

[0046] 采用运动帧差图像，可以为移动目标检测提供足够丰富的关键信息，解决了计算机视觉中采用高分辨率图像和复杂程度高的神经网络导致的冗余信息过多和神经网络训练负担过重的问题；采用运动帧差图像，能够显著降低所要求的神经网络复杂程度，利于以低功耗、低成本实现移动目标检测的目的，节省工作时间；基于运动帧差图像的移动目标检测方法，能够解决场景迁移的问题，基于运动帧差图像的深度学习模型能够广泛适用于各种场景；基于运动帧差图像的移动目标检测方法，能够同时适用于任何时间段，例如白天、傍晚或晚上灯光，此外，也适用于红外图像和太赫兹图像等特殊图像；基于运动帧差图像的深度学习模型的运算需求低，能够在嵌入式系统中实现，有利于推广和大规模应用。

附图说明

[0047] 此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

[0048] 图1为本申请实施例提供的一种基于运动帧差图像的移动目标检测方法的流程图；

[0049] 图2为本申请实施例提供的一种基于运动帧差图像的移动目标检测装置的示意图；

[0050] 图3为本申请实施例提供的一种基于运动帧差图像的移动目标检测技术方案中的原始图像；

[0051] 图4为本申请实施例提供的一种基于运动帧差图像的移动目标检测技术方案中的二值化图像；

[0052] 图5为本申请实施例提供的一种基于运动帧差图像的移动目标检测技术方案中的经过处理的帧差图像；

[0053] 图6为本申请实施例提供的基于运动帧差图像的深度神经网络示意图；

[0054] 图7为本申请实施例提供的移动目标检测结果示意图。

[0055] 附图中：100、基于运动帧差图像的移动目标检测装置；11、采集模块；12、预处理模块；13、计算模块；14、检测模块。

具体实施方式

[0056] 为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

[0057] 请参照图1，本申请提供的一种基于运动帧差图像的移动目标检测方法，包括以下具体步骤：

[0058] S100：获取待处理视频数据。

[0059] 需要指出的是，这里的待处理视频数据可以理解为原始的视频，如通过监控摄像头录取的监控视频，也可以是通过其他方式录取的视频。这里的待处理视频数据包括带移动目标的视频数据，这里的移动目标可以是行人，也可以是其他位置发生变动的目标物体。

[0060] S200：预处理所述待处理视频数据，得到预设尺寸的初始图像集。

[0061] 可以理解的是，采集到的待处理视频数据是原始的视频，在运用基于神经网络的深度学习模型进行处理前需要先进行预处理，将视频数据转换为图像数据。这里的预设尺寸可以理解为初始图像集中图像的尺寸大小。

[0062] 进一步的，预处理所述待处理视频数据，得到预设尺寸的初始图像集，包括以下具体步骤：

[0063] 按预设时间间隔选取所述待处理视频数据中的帧图像，得到待处理视频图像数据；

[0064] 灰度化处理所述待处理视屏图像数据，得到灰度图像数据集；

[0065] 增强处理所述灰度图像数据集，得到增强图像数据集；

[0066] 对所述增强图像数据集进行像素采样，按照预设比例和预设分辨率填充图像，得到预设尺寸的初始图像集。

[0067] 需要指出的是，通过待处理视频数据得到初始图像集的过程可以理解为将视频数据转换为图片数据的过程。这里的待处理视频图像数据可以理解为由RGB彩色图像组成的图像集合。通过对彩色图像进行灰度化处理，可以简化算法。这里的灰度图像数据集可以理解为由灰度化图像组成的图像集合。增强处理灰度图像数据集可以理解为增强处理灰度图像数据集中的灰度图像。将灰度图像进行增强处理，包括直方图均衡化、平滑滤波、锐化滤波、高通滤波、低通滤波等。对增强图像数据集进行像素采样可以理解为对增强图像数据集中的增强图像的像素进行采样。按照预设比例和预设分辨率填充图像可以理解为将采样的像素按照特定比例和分辨率大小填充得到一个新图像，以此作为初始图像集的元素。可以理解的是，这里的预设比例和预设分辨率按照实际需要进行设定，最终的预设尺寸可以根据预设比例和预设分辨率确定。需要说明的是，这里的灰度化图像采用像素点的亮度值作为像素值，亮度值通过以下变换颜色模型进行计算，如下式

[0068] ，

[0069] 其中，R、G和B分别是RGB彩色图像的红色、绿色和蓝色分量。

[0070] 进一步的，所述增强处理包括灰度级变换、平滑滤波、锐化滤波、低通滤波、高通滤波、小波变换、同态滤波和Retinex图像增强。

[0071] S300：采用图像差分法对所述初始图像集中的连续帧图像分类，得到只有背景的背景图像数据集和有移动目标的待检测图像数据集。

[0072] 需要说明的是，这里的图像差分法可以理解为在图像处理时，将两帧图像对应的像素值相减，以实现对背景图像和和有移动目标的图像的分类。显而易见的是，采用图像差分法对连续帧图像分类时，如果只有背景图像数据集而不存在待检测图像数据集，则整个移动目标检测方法完成，不需要进一步操作。在一种具体的实施方式中，当这里的移动目标为行人时，可以对初始图像集中的视频图像数据进行图像连续帧的初始分类。在初始分类时，利用图像差分法将无行人的图像挑选出来，组成背景图像的数据集，即背景图像数据集。其他图像组成行人图像的数据集，即待检测图像数据集。通过以背景图像对初始图像集进行分类，可以有效提高检测准确性。

[0073] S400：采用对称差分分割算法处理所述背景图像数据集和所述待检测图形数据集，得到初始差分图像数据集。

[0074] 进一步的，采用对称差分分割算法处理所述背景图像数据集和所述待检测图形数据集，得到初始差分图像数据集，包括以下具体步骤：

[0075] 计算所述背景图像数据集和所述待检测图像数据集中按视频序列排列的两帧源图像的绝对差灰度图像，得到绝对差灰度图像集；

[0076] 对所述绝对差灰度图像集中的绝对差灰度图像进行中值滤波，得到滤波图像集；

[0077] 二值化处理所述滤波图像集，得到初始差分图像数据集。

[0078] 需要指出的是，绝对差灰度图像集由绝对差灰度图像组成。在计算绝对差灰度图像时，可以选定视频序列的两帧源图像，设为 和 ，其中 ，计算两帧源图像的绝对差灰度图像可以采用以下公式：

[0079] 。

[0080] 在进行中值滤波时，可以对绝对差灰度图像 进行3×3的中值滤波。对于亮度值发生随机突变的像素，经过滤波后，中心像素的新值取自队列中位的像素值，突变的像素都被过滤掉。因此，采用中值滤波后的图像具有良好的视觉效果。中值滤波能够保留源图像的很多信息，且计算速度较快。

[0081] 对滤波图像集中的图像进行二值化操作时，可以采用基于图像差距度量的阈值选取方法，通过选取适当的阈值实现。

[0082] S500：对所述初始差分图像数据集进行形态学处理，得到待检测差分图像数据集。

[0083] 需要说明的是，初始差分图像数据集由差分图像组成。对初始差分图像数据集进行形态学处理可以理解为对初始差分图像数据集中的差分图像进行形态学处理。在对差分图像进行形态学处理时，可以从不同的角度对差分结果进行必要的填充或修正，最终形成待检测差分图像数据集。在进行形态学处理时，需要选取适当大小的结构算子，此算子影响滤噪效果和平滑效果。过小的结构元素不具有显著效果，而过大的结果元素则会损坏边缘，使边缘倾向圆滑。

[0084] 进一步的，对所述初始差分图像数据集进行形态学处理，得到待检测差分图像数据集，包括以下具体步骤：

[0085] 对所述初始差分图像数据集进行形态学操作，得到形态学图像数据集；

[0086] 对所述形态学图像数据集进行填充操作，得到待检测差分图像数据集。

[0087] 需要指出的是，对初始差分图像数据集进行形态学操作时，可以对初始差分图像数据集中的图像进行形态学的腐蚀、膨胀等操作，将背景残留小噪声清除，并且平滑差分图像中的目标物边缘。当这里的目标物为行人时，则可以平滑差分图像中的行人边缘。对形态学图像数据集进行填充操作时，可以对形态学图像数据集中的图像进行填充操作，以此填充差分图像中的目标物内部空洞。当这里的目标物为行人时，则可以填充差分图像中的行人内部空洞。

[0088] 进一步的，所述形态学操作包括：平滑处理、边缘提取、区域填充、击中不击中变换、细化、膨胀运算、腐蚀运算、开运算、闭运算、Top‑hat和Bottom‑hat变换。

[0089] S600：通过预训练的深度学习模型处理所述待检测差分图像数据集，得到移动目标检测结果。

[0090] 进一步的，所述深度学习模型通过以下步骤训练得到：

[0091] 获取训练视频数据；

[0092] 预处理所述训练视频数据，得到预设尺寸的初始训练图像集；

[0093] 采用图像差分法对所述初始训练图像集中的连续帧图像分类，得到只有背景的背景图像训练数据集和有移动目标的目标训练数据集；

[0094] 采用对称差分分割算法处理所述背景图像训练数据集和所述目标训练数据集，得到初始差分图像训练数据集；

[0095] 对所述初始差分图像训练数据集进行形态学处理，得到待训练差分图像数据集；

[0096] 样本化处理所述待训练差分图像数据集，得到训练图像样本集；

[0097] 标注所述训练图像样本集，得到标注数据集；

[0098] 用所述标注数据集训练深度神经网络模型，得到神经网络模型参数；

[0099] 根据所述深度神经网络模型和所述神经网络模型参数，得到预训练的深度学习模型。

[0100] 需要说明的是，形态学处理得到的待训练差分图像数据集的元素数量未达到预设的样本数量时，需要重复之前的步骤，直至待训练差分图像数据集的元素数量满足样本数量要求。这里的样本数量可以理解为用于训练深度神经网络模型时所需的样本数量。在样本化处理待训练差分图像数据集时，可以理解为对待训练差分图像数据集中的图像进行切割等处理，获得由图像样本组成的训练图像样本集。通过对训练图像样本集中的图像样本进行标注，最终生成标注数据集。通过标注数据集对应用的深度神经网络模型进行训练，可以获得相应的神经网络模型参数，以此得到预训练的深度学习模型。

[0101] 进一步的，所述深度神经网络模型具有传输函数，并具有至少一个隐藏层。

[0102] 需要指出的是，这里的深度神经网络模型需要选取适当的传输函数。有多种传输函数可供选择，例如广泛应用的S型函数，如下式：

[0103] 。

[0104] 这里深度神经网络模型应用的神经网络具有多层感知机（multilayer perceptron，MLP），其中神经元分布在输出层和隐藏层中。不同层之间的神经元连接通过一个权重表示。例如从第j个隐藏层的神经元到第i个隐藏层（另一个层）的神经元的连接权重表示为 ，另外一组神经元的连接权重则表示为 ，其中上标的不同表示不同的两个层之间的连接。

[0105] 进一步的，所述标注数据集为二维的二值化数据，转化成一维二值化数组后作为所述深度神经网络模型的输入数据。

[0106] 需要说明的是，深度神经网络模型采用的神经网络的输入信号为图像样本，图像样本是二维的二值化数据，在正式输入神经网络进行处理前需转化为一维数组，记为。输入值 和相关连接的权重进行相乘，由此第j个隐藏层的神经元接收到的信号为 ，乘上神经元的传输函数，得到 ，以此类推。

[0107] 深度神经网络模型采用的神经网络的输出信号为类别，根据需求可以确定多种类别，包含行人、宠物、机动车、自行车等等，记为 。对于两层的神经网络，最后的输出如下式所示：

[0108] 。

[0109] 多层的神经网络以此类推。

[0110] 请参照图2，本申请还提供一种基于运动帧差图像的移动目标检测装置100，包括：

[0111] 采集模块11，用于获取待处理视频数据；

[0112] 预处理模块12，用于预处理所述待处理视频数据，得到预设尺寸的初始图像集；

[0113] 计算模块13，用于采用图像差分法对所述初始图像集中的连续帧图像分类，得到只有背景的背景图像数据集和有移动目标的待检测图像数据集；还用于采用对称差分分割算法处理所述背景图像数据集和所述待检测图形数据集，得到初始差分图像数据集；还用于对所述初始差分图像数据集进行形态学处理，得到待检测差分图像数据集；

[0114] 检测模块14，用于通过预训练的深度学习模型处理所述待检测差分图像数据集，得到移动目标检测结果。

[0115] 需要指出的是，这里的待处理视频数据可以理解为原始的视频。在一种具体的实施方式中，在训练深度学习模型时，需要先通过采集模块11获得原始的视频，可以通过预处理模块12取其中间隔1.7秒的三帧图像，这里的三帧图像可以理解为原始图像，如图3所示。进一步用预处理模块12和计算模块13进行图像滤波、差分处理等，最后计算得出每两帧源图像的绝对差二值图像，这里的绝对差二值图像也可以理解为二值化图像，如图4所示。进一步通过计算模块13对二值化后的帧差图像进行形态学处理，得到结果如图5所示，可以理解为经过处理的帧差图像。可以理解的是，在获取用于训练深度学习模型的训练数据时，需要不断重复以上步骤，得到的二值帧差图像作为数据集合。在另一种具体的实施方式中，在训练深度学习模型时，先通过采集模块11获得原始的视频，根据训练所需的样本数量，通过预处理模块12取其中间隔1.7秒的多帧图像，这里的多帧帧图像可以理解为原始图像。进一步用预处理模块12和计算模块13进行图像滤波、差分处理等，最后计算得出每两帧源图像的绝对差二值图像，这里的绝对差二值图像也可以理解为二值化图像。进一步通过计算模块13对二值化后的帧差图像进行形态学处理，得到的图像结果可以理解为经过处理的帧差图像。可以理解的是，这里的原始图像的数量根据样本数量确定，最终得到的经过处理的帧差图像作为数据集合。本实例中，数据集合中包括1000幅帧差图像。对数据集合中的图像进行定位和切割等处理，获得图像样本，并进行标记。将图像样本转化为一维数组，作为神经网络的输入 ，即 。将标记结果，作为神经网络的输出 ，即
。在此处，采用具有两个内部连接层的神经网络，如图6所示。使用图像样本对神经网络进行训练，获得神经网络的连接权重 。至此，可以得到预训练的深度学习模型。在采用该深度学习模型进行移动目标检测时，需要先获得待检测的原始图像，处理分别得到二值帧差图像、图像样本和输入神经网络的一维数组。检测模块14应用训练好的深度学习模型对所获得的一维数组进行运算，最后输出结果。根据输出结果便可对源视频中的物体进行标注，如图7所示，成功标注出行人和电动车，检测完毕。

[0116] 进一步的，所述预处理模块12具体用于：

[0117] 按预设时间间隔选取所述待处理视频数据中的帧图像，得到待处理视频图像数据；

[0118] 灰度化处理所述待处理视屏图像数据，得到灰度图像数据集；

[0119] 增强处理所述灰度图像数据集，得到增强图像数据集；

[0120] 对所述增强图像数据集进行像素采样，按照预设比例和预设分辨率填充图像，得到预设尺寸的初始图像集。

[0121] 进一步的，所述增强处理包括灰度级变换、平滑滤波、锐化滤波、低通滤波、高通滤波、小波变换、同态滤波和Retinex图像增强。

[0122] 进一步的，所述计算模块13具体通过以下步骤得到初始差分图像数据集：

[0123] 计算所述背景图像数据集和所述待检测图像数据集中按视频序列排列的两帧源图像的绝对差灰度图像，得到绝对差灰度图像集；

[0124] 对所述绝对差灰度图像集中的绝对差灰度图像进行中值滤波，得到滤波图像集；

[0125] 二值化处理所述滤波图像集，得到初始差分图像数据集。

[0126] 进一步的，计算模块13具体通过以下步骤得到待检测差分图像数据集：

[0127] 对所述初始差分图像数据集进行形态学操作，得到形态学图像数据集；

[0128] 对所述形态学图像数据集进行填充操作，得到待检测差分图像数据集。

[0129] 进一步的，所述形态学操作包括：平滑处理、边缘提取、区域填充、击中不击中变换、细化、膨胀运算、腐蚀运算、开运算、闭运算、Top‑hat和Bottom‑hat变换。

[0130] 进一步的，所述检测模块14中的深度学习模型通过以下步骤训练得到：

[0131] 获取训练视频数据；

[0132] 预处理所述训练视频数据，得到预设尺寸的初始训练图像集；

[0133] 采用图像差分法对所述初始训练图像集中的连续帧图像分类，得到只有背景的背景图像训练数据集和有移动目标的目标训练数据集；

[0134] 采用对称差分分割算法处理所述背景图像训练数据集和所述目标训练数据集，得到初始差分图像训练数据集；

[0135] 对所述初始差分图像训练数据集进行形态学处理，得到待训练差分图像数据集；

[0136] 样本化处理所述待训练差分图像数据集，得到训练图像样本集；

[0137] 标注所述训练图像样本集，得到标注数据集；

[0138] 用所述标注数据集训练深度神经网络模型，得到神经网络模型参数；

[0139] 根据所述深度神经网络模型和所述神经网络模型参数，得到预训练的深度学习模型。

[0140] 进一步的，所述深度神经网络模型具有传输函数，并具有至少一个隐藏层。

[0141] 进一步的，所述标注数据集为二维的二值化数据，转化成一维二值化数组后作为所述深度神经网络模型的输入数据。

[0142] 本申请采用运动帧差图像，将其中含有的关键运动信息提取出来，能够保留足够丰富的信息供深度神经网络使用。目前计算机视觉的某些研究倾向采用高分辨率图像和复杂程度高的神经网络，由此可以获得丰富的细节特征信息，但涵盖的冗余信息过多，会增加神经网络训练的负担。采用运动帧差图像，可以显著降低所要求的神经网络的复杂程度，利于以低功耗、低成本实现移动目标检测如行人检测的目的，节省工作时间。基于运动帧差图像的移动目标检测方法，能够解决场景迁移的问题。现有的深度神经网络模型大多依赖于训练数据集，在某一场景下训练好的模型，在换到另一场景后将无法正常工作。基于运动帧差图像的深度学习模型能够广泛适用于各种场景。除此之外，该技术方案能够适用于任何时间段的场景中，例如白天的正常光照场景、傍晚的昏暗光照场景或晚上的灯光照射场景。此外，该技术方案还适用于红外图像和太赫兹图像等特殊图像。综上所述，基于运动帧差图像的移动目标检测技术方案的运算需求低，能够在嵌入式系统中实现，有利于推广和大规模应用。

[0143] 还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

[0144] 本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD‑ROM、光学存储器等）上实施的计算机程序产品的形式。

[0145] 以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。