通道监测方法、装置、电子设备及介质

摘要

本发明公开了一种通道监测方法、装置、电子设备及介质，该方法通过将摄像头采集的目标通道的当前帧图像输入通道占用模型，得到当前帧图像的特征向量，先判断第一特征库中是否存在与当前帧图像的特征向量距离小于基准阈值的特征向量，若存在，则判定目标通道未被占用，并将当前帧图像的特征向量更新到第一特征库中；若不存在，则判定当前帧图像满足预设异常条件，缩短采样间隔采集下一帧图像；若采集的连续M帧图像均满足预设异常条件，则将这M帧图像的特征向量与第二特征库中的各特征向量进行比对，若距离均大于第一参考阈值，则判定目标通道被占用，上报通道占用事件以及这M帧图像，能够较准确且高效地监测通道占用事件。

权利要求

1.一种通道监测方法，其特征在于，所述方法包括：将摄像头采集的目标通道的当前帧图像输入通道占用模型，得到所述当前帧图像的特征向量，其中，所述通道占用模型为预先基于目标通道未被占用时采集的样本图像以及被占用时采集的样本图像训练得到的深度学习模型；

判断第一特征库中是否存在与所述当前帧图像的特征向量距离小于基准阈值的特征向量，其中，所述第一特征库存储有预设时间段内采集的第一参考图像的特征向量，所述第一参考图像为目标通道未被占用时的图像；

若存在，则判定所述目标通道未被占用，并将所述当前帧图像的特征向量更新到所述第一特征库中；

若不存在，则判定所述当前帧图像满足预设异常条件，缩短采样间隔采集下一帧图像；

若连续M帧图像均满足所述预设异常条件，则将所述M帧图像的特征向量与第二特征库中的各特征向量进行比对，若距离均大于第一参考阈值，则判定所述目标通道被占用，上报通道占用事件以及所述M帧图像，其中，所述第二特征库中存储有多个第二参考图像的特征向量，所述多个第二参考图像包括在多种外界环境下采集的目标通道未被占用时的图像。

2.根据权利要求1所述的方法，其特征在于，所述将所述M帧图像的特征向量与第二特征库中的各特征向量进行比对，还包括：若所述M帧图像中，存在与所述第二特征库中任意一特征向量之间距离小于或等于第一参考阈值的图像，则判定所述目标通道未被占用。

3.根据权利要求1所述的方法，其特征在于，所述将所述M帧图像的特征向量与第二特征库中的各特征向量进行比对，还包括：若所述M帧图像中，存在与所述第二特征库中任意一特征向量之间距离大于第二参考阈值且小于或等于第一参考阈值的图像，则将该图像的特征向量添加到所述第二特征库中，并将该图像添加到与所述第二特征库对应的图像库中，其中，所述第二参考阈值大于所述基准阈值。

4.根据权利要求1所述的方法，其特征在于，所述通道占用模型通过以下步骤训练得到：

获取训练数据，所述训练数据包括多个在所述目标通道未被占用时采集的第一样本图像，以及多个在所述目标通道被占用时采集的第二样本图像；

基于所述训练数据，对预先构建的深度学习模型进行训练，得到所述通道占用模型，所述通道占用模型用于输出目标通道的图像的特征向量。

5.根据权利要求4所述的方法，其特征在于，所述对预先构建的深度学习模型进行训练之前，还包括：

获取所述目标通道的样本图像，基于所述样本图像对预先构建的空间变换网络进行训练，得到前置空间变换子模型；

将所述前置空间变换子模型插入预先构建的神经网络模型，得到所述深度学习模型。

6.根据权利要求4所述的方法，其特征在于，所述深度学习模型的损失函数基于预设的ArcFace损失函数、CosFace损失函数、SphereFace损失函数、类内损失函数以及类间损失函数确定。

7.根据权利要求1所述的方法，其特征在于，所述方法还包括：按照预设触发条件执行以下特征库更新步骤：

对所述第二特征库中的各特征向量进行聚类，得到多个特征向量簇，每个特征向量簇中包括至少一个特征向量；

针对每个特征向量簇，将除所述特征向量簇的中心点之外的特征向量，和/或，距离所述中心点预设半径范围之内的特征向量确定为冗余特征向量；

将所述冗余特征向量从所述第二特征库中剔除。

8.一种通道监测装置，其特征在于，所述装置包括：特征提取模块，用于将摄像头采集的目标通道的当前帧图像输入通道占用模型，得到所述当前帧图像的特征向量，其中，所述通道占用模型为预先基于目标通道未被占用时采集的样本图像以及被占用时采集的样本图像训练得到的深度学习模型；

预判模块，用于判断第一特征库中是否存在与所述当前帧图像的特征向量距离小于基准阈值的特征向量，其中，所述第一特征库存储有预设时间段内采集的第一参考图像的特征向量，所述第一参考图像为目标通道未被占用时的图像；

第一处理模块，用于若存在，则判定所述目标通道未被占用，并将所述当前帧图像的特征向量更新到所述第一特征库中；

第二处理模块，用于若不存在，则判定所述当前帧图像满足预设异常条件，缩短采样间隔采集下一帧图像；

比对模块，用于若连续M帧图像均满足所述预设异常条件，则将所述M帧图像的特征向量与第二特征库中的各特征向量进行比对，若距离均大于第一参考阈值，则判定所述目标通道被占用，上报通道占用事件以及所述M帧图像，其中，所述第二特征库中存储有多个第二参考图像的特征向量，所述多个第二参考图像包括在多种外界环境下采集的目标通道未被占用时的图像。

9.一种电子设备，其特征在于，包括：处理器、存储器以及存储在所述存储器上的计算机程序，其中，所述处理器执行所述计算机程序时实现权利要求1‑7任一项所述方法的步骤。

10.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，该程序被处理器执行时实现权利要求1‑7任一项所述方法的步骤。

说明书

通道监测方法、装置、电子设备及介质

技术领域

[0001] 本发明涉及安防技术领域，尤其涉及一种通道监测方法、装置、电子设备及介质。

背景技术

[0002] 消防通道，逃生通道，货运通道等等都是现实生活中常见的具有特殊用途的通道。近年来，特殊通道在没有发生通道的专属事件时被人为占用，最后导致发生特殊事件时，特
殊通道无法发挥其特殊功能，导致酿成惨剧或者给他人带来不便，这样的报道屡见不鲜。尽
管对于特殊通道的管理，国家和地方都出了相关的法律法规，但是，仍然有心存侥幸者，非
法占用特殊通道的事情比比皆是。因此，亟需一种能够有效地对这些特殊通道的占用情况
进行监测的方法。

发明内容

[0003] 本发明提供了一种通道监测方法、装置、电子设备及介质，能够较准确且高效地对通道的占用情况进行监测，在通道被占用时及时上报，以及时解决通道被占用带来的安全
隐患。

[0004] 第一方面，本发明实施例提供了一种通道监测方法，所述方法包括：将摄像头采集的目标通道的当前帧图像输入通道占用模型，得到所述当前帧图像的特征向量，其中，所述
通道占用模型为预先基于目标通道未被占用时采集的样本图像以及被占用时采集的样本
图像训练得到的深度学习模型；判断第一特征库中是否存在与所述当前帧图像的特征向量
距离小于基准阈值的特征向量，其中，所述第一特征库存储有预设时间段内采集的第一参
考图像的特征向量，所述第一参考图像为目标通道未被占用时的图像；若存在，则判定所述
目标通道未被占用，并将所述当前帧图像的特征向量更新到所述第一特征库中；若不存在，
则判定所述当前帧图像满足预设异常条件，缩短采样间隔采集下一帧图像；若连续M帧图像
均满足所述预设异常条件，则将所述M帧图像的特征向量与第二特征库中的各特征向量进
行比对，若距离均大于第一参考阈值，则判定所述目标通道被占用，上报通道占用事件以及
所述M帧图像，其中，所述第二特征库中存储有多个第二参考图像的特征向量，所述多个第
二参考图像包括在多种外界环境下采集的目标通道未被占用时的图像。

[0005] 进一步地，所述将所述M帧图像的特征向量与第二特征库中的各特征向量进行比对，还包括：若所述M帧图像中，存在与所述第二特征库中任意一特征向量之间距离小于或
等于第一参考阈值的图像，则判定所述目标通道未被占用。

[0006] 进一步地，上述将所述M帧图像的特征向量与第二特征库中的各特征向量进行比对，还包括：若所述M帧图像中，存在与所述第二特征库中任意一特征向量之间距离大于第
二参考阈值且小于或等于第一参考阈值的图像，则将该图像的特征向量添加到所述第二特
征库中，并将该图像添加到与所述第二特征库对应的图像库中，其中，所述第二参考阈值大
于所述基准阈值。

[0007] 进一步地，上述通道占用模型通过以下步骤训练得到：获取训练数据，所述训练数据包括多个在所述目标通道未被占用时采集的第一样本图像，以及多个在所述目标通道被
占用时采集的第二样本图像；基于所述训练数据，对预先构建的深度学习模型进行训练，得
到所述通道占用模型，所述通道占用模型用于输出目标通道的图像的特征向量。

[0008] 进一步地，上述对预先构建的深度学习模型进行训练之前，还包括：获取所述目标通道的样本图像，基于所述样本图像对预先构建的空间变换网络进行训练，得到前置空间
变换子模型；将所述前置空间变换子模型插入预先构建的神经网络模型，得到所述深度学
习模型。

[0009] 进一步地，上述深度学习模型的损失函数基于预设的ArcFace损失函数、CosFace损失函数、SphereFace损失函数、类内损失函数以及类间损失函数确定。

[0010] 进一步地，上述通道监测方法还包括：按照预设触发条件执行以下特征库更新步骤：对所述第二特征库中的各特征向量进行聚类，得到多个特征向量簇，每个特征向量簇中
包括至少一个特征向量；针对每个特征向量簇，将除所述特征向量簇的中心点之外的特征
向量，和/或，距离所述中心点预设半径范围之内的特征向量确定为冗余特征向量；将所述
冗余特征向量从所述第二特征库中剔除。

[0011] 第二方面，本发明实施例提供了一种通道监测装置，所述装置包括：

[0012] 特征提取模块，用于将摄像头采集的目标通道的当前帧图像输入通道占用模型，得到所述当前帧图像的特征向量，其中，所述通道占用模型为预先基于目标通道未被占用
时采集的样本图像以及被占用时采集的样本图像训练得到的深度学习模型；

[0013] 预判模块，用于判断第一特征库中是否存在与所述当前帧图像的特征向量距离小于基准阈值的特征向量，其中，所述第一特征库存储有预设时间段内采集的第一参考图像
的特征向量，所述第一参考图像为目标通道未被占用时的图像；

[0014] 第一处理模块，用于若存在，则判定所述目标通道未被占用，并将所述当前帧图像的特征向量更新到所述第一特征库中；

[0015] 第二处理模块，用于若不存在，则判定所述当前帧图像满足预设异常条件，缩短采样间隔采集下一帧图像；

[0016] 比对模块，用于若连续M帧图像均满足所述预设异常条件，则将所述M帧图像的特征向量与第二特征库中的各特征向量进行比对，若距离均大于第一参考阈值，则判定所述
目标通道被占用，上报通道占用事件以及所述M帧图像，其中，所述第二特征库中存储有多
个第二参考图像的特征向量，所述多个第二参考图像包括在多种外界环境下采集的目标通
道未被占用时的图像。

[0017] 第三方面，本发明实施例提供了一种电子设备，包括：处理器、存储器以及存储在所述存储器上的计算机程序，其中，所述处理器执行所述计算机程序时实现第一方面提供
的通道监测方法的步骤。

[0018] 第四方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述第一方面提供的通道监测方法的步骤。

[0019] 本说明书一个实施例提供的通道监测方法，通过将摄像头采集的目标通道的当前帧图像输入通道占用模型，得到当前帧图像的特征向量，先判断第一特征库中是否存在与
当前帧图像的特征向量距离小于基准阈值的特征向量，若存在，则判定目标通道未被占用，
并将当前帧图像的特征向量更新到第一特征库中；若不存在，则判定当前帧图像满足预设
异常条件，缩短采样间隔采集下一帧图像；若采集的连续M帧图像均满足预设异常条件，则
将这M帧图像的特征向量与第二特征库中的各特征向量进行比对，若距离均大于第一参考
阈值，则判定目标通道被占用，上报通道占用事件以及这M帧图像，能够高效监测通道占用
事件，在通道被占用时及时上报，以便相关人员作出处理，及时解决通道被占用带来的安全
隐患。该过程摒弃了传统的图像特征点比对方式，利用深度学习模型提取图像的深层次特
征，通过深层次的多维的特征来进一步确定通道是否被占用，鲁棒性强，受外界环境影响
小。并且，设置了第一特征库和第二特征库，先通过第一特征库进行实时特征变化情况的比
对，针对存在异常的图像，调小图像采样间隔并按照该采样间隔进行下一帧图像采集，将满
足异常条件的连续M帧图像再与第二特征库进行比对，第二特征库中存储有多种外界环境
如暴雨，暴雪以及沙尘暴等各种环境下通道未占用图像特征，这样，通过两个阶段的特征比
对，能够有效地减少由于外界环境骤变所引起的错误上报，比如特征库中存储室内外光线
的突然变化，有利于较准确地对通道的占用情况进行监测。

附图说明

[0020] 通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本说明
书的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

[0021] 图1为本发明实施例第一方面提供的一种通道监测方法的流程图；

[0022] 图2为本发明实施例第一方面提供的一种示例性模型训练过程的示意图；

[0023] 图3为本发明实施例第一方面提供的一种自更新过程的示例图；

[0024] 图4为本发明实施例第二方面提供的一种通道监测装置的模块框图；

[0025] 图5为本发明实施例第三方面提供的一种电子设备的结构示意图。

具体实施方式

[0026] 为了更好的理解本发明实施例提供的技术方案，下面通过附图以及具体实施例对本发明实施例的技术方案做详细的说明，应当理解本发明实施例以及实施例中的具体特征
是对本发明实施例技术方案的详细的说明，而不是对本说明书技术方案的限定，在不冲突
的情况下，本发明实施例以及实施例中的技术特征可以相互组合。本发明实施例中，术语
“多个”表示“两个以上”，即包括两个或大于两个的情况；术语“和/或”，仅仅是一种描述关
联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存
在A和B，单独存在B这三种情况。

[0027] 第一方面，如图1所示，本发明实施例提供了一种通道监测方法，可以包括以下步骤S101至步骤S105。

[0028] 步骤S101，将摄像头采集的目标通道的当前帧图像输入通道占用模型，得到当前帧图像的特征向量。

[0029] 其中，目标通道即为需要监测的通道，例如，可以是消防通道，逃生通道或货运通道等具有特殊用途的通道。具体实施过程中，可以通过架设在目标通道处的监控摄像头实
时采集目标通道的图像数据。图像采样间隔可以根据实际需要设置，例如，可以设置为10分
钟，5分钟或1分钟等。

[0030] 通道占用模型为预先基于目标通道未被占用时采集的样本图像以及被占用时采集的样本图像训练得到的深度学习模型。将当前帧图像输入到该通道占用模型中，即可以
输出当前帧图像的特征向量。该特征向量包括当前帧图像的多维特征，能够用于表征通道
是否被占用。需要说明的是，通过深度学习提取图像的深层次特征，再通过深层次的多维特
征来表征通道是否被占用，鲁棒性强，受外界环境影响小。

[0031] 在执行步骤S101之前，需要预先设置训练好的通道占用模型。具体来讲，通道占用模型的训练过程可以包括：获取训练数据，训练数据包括多个在目标通道未被占用时采集
的第一样本图像，以及多个在目标通道被占用时采集的第二样本图像；基于训练数据，对预
先构建的深度学习模型进行训练，得到通道占用模型，通道占用模型用于输出目标通道的
图像的特征向量。

[0032] 具体来讲，在进行通道占用模型的训练之前，需要先构建初始的深度学习模型，下面对构建初始深度学习模型的过程进行说明。

[0033] 考虑到实际应用场景中，由于外界条件例如风、雪等的影响，摄像头采集的画面摇晃、抖动，导致所提取的特征向量的不够准确，给后续计算特征向量距离带来误差，进而引
起通道占用事件的误判。在一种实施方式中，在构建初始深度学习模型时，可以在原始模型
的头部加入了前置空间变换模块，使得输入的通道图片，能够变换到一个统一的空间坐标
系之下进行后续处理，有利于减少特征向量比较时由于外界条件变换所造成的误差。

[0034] 举例来讲，原始模型可以采用神经网络模型，例如，可以采用CNN或DNN等神经网络模型。此时，构建初始深度学习模型的过程可以包括：获取目标通道的样本图像，基于所获
取的样本图像对预先构建的空间变换网络（Spatial Transformer Networks，STN）进行训
练，得到前置空间变换子模型；将该前置空间变换子模型插入预先构建的神经网络模型，得
到深度学习模型。这样，输入的图像就可以先经过前置空间变换子模型变换到一个统一的
空间坐标系下，再经过神经网络进行特征向量的提取，降低摄像头抖动对特征向量提取的
影响，有利于减小图像比对时由于摄像头抖动造成的误判。

[0035] 可以理解的是，在训练空间变换网络的过程中，采用的样本图像可以包括在多种外界条件下采集的目标通道的图像。

[0036] 当然，在本说明书其他实施方式中，也可以将预先构建的神经网络模型作为要训练的初始深度学习模型。

[0037] 初始深度学习模型的输入为目标通道的图像，输出为图像的特征向量。作为一种实施方式，深度学习模型的损失函数可以基于预设的ArcFace损失函数、CosFace损失函数、
SphereFace损失函数、类内损失函数以及类间损失函数确定。举例来讲，可以采用融合损失
函数（ensemble loss），将ArcFace损失函数、CosFace损失函数和SphereFace损失函数进行
融合，组成新的loss函数。需要说明的是，ArcFace损失函数、CosFace损失函数以及
SphereFace损失函数均是由Softmax Loss演化而来的，此处不做详述。

[0038] 举例来讲，可以将ArcFace损失函数、CosFace损失函数和SphereFace损失函数进行融合，得到融合后的损失函数Lmix：

[0039]

[0040] 式中，θ表示特征向量与各个权重单位向量之间的夹角； 表示特征向量与同类权重中心Wi之间的夹角；a，b，c为超参数，其它变量如s可以参照ArcFace损失函数或
CosFace损失函数确定。同时，为了进一步减小类内距离以及增大类间距离，可以加入类内
损失函数（intra loss）和类间损失函数（inter loss）。也即，最后的loss函数Lensemble为：

[0041]

[0042] 其中，intra loss可以设置为：

[0043] ；

[0044] inter loss可以设置为：

[0045]

[0046] 式中，W表示模型权重，N表示样本数量，n表示分类数目。

[0047] 采用上述ensemble loss函数有利于更准确地区分通道的一小部分小面积被占用与通道未被占用时的微小区别，减少占用通道一小部分面积的事件未被检出的情况，有利
于提高判别结果的准确性。

[0048] 进一步地，除了需要构建好初始深度学习模型以外，还需要获取用于对该深度学习模型进行训练得到通道占用模型的训练数据。具体可以预先采集大量目标通道的样本图
像制作数据集，并将数据集分为通道未被占用的第一样本图像和通道被占用的第二样本图
像两类。进而通过该数据集对构建好的初始深度学习模型进行训练，有监督地对该数据集
中的样本图像进行特征学习，得到通道占用模型，用于输出目标通道的图像的特征向量。然
后，将训练好的通道占用模型固化输出。需要说明的是，通道占用模型可以一次训练，多次
多地部署。

[0049] 举例来讲，图2示出了一种示例性通道占用模型训练过程的示意图。如图2所示，预先构建的神经网络模型包括输入层、多个隐藏层以及输出层，数据集中的图像经过预处理
如噪声过滤、以及上述的空间变换等处理后进入输入层，经过多个隐藏层的处理后，由输出
层输出图像的多维特征，然后通过上述的损失函数得到图像是否存在占道情况的分类结
果，并判断是否满足模型训练的收敛条件，依次迭代，直至模型收敛，即可输出训练好的通
道占用模型。例如，在一种应用场景中，可以在采用梯度下降法的基础上，采用反向传播
（Backpropagation）算法进行模型训练，loss函数可以采用上述的融合损失函数Lensemble。

[0050] 在基于预先训练好的通道占用模型得到当前帧图像的特征向量后，先执行步骤S102所述的实时特征比对步骤。

[0051] 步骤S102，判断第一特征库中是否存在与当前帧图像的特征向量距离小于基准阈值的特征向量。

[0052] 其中，第一特征库是在执行步骤S102之前预先构建的，用于存储预设时间段内采集的第一参考图像的特征向量，第一参考图像为目标通道未被占用时的图像。其中，预设时
间段为始终以当前时间为终止点的一个指定时间段，如近30分钟，具体可以根据实际应用
场景设置。以预设时间段为近30分钟为例，此时，第一特征库存储的是近30分钟内的实时特
征，即近30分钟内采集的未占道图像的特征向量。

[0053] 依次计算第一特征库中每个特征向量与当前帧图像的特征向量之间的距离，并判断得到的距离是否小于基准阈值。若第一特征库中存在至少一个特征向量与当前帧图像的
特征向量之间的距离小于基准阈值，则执行步骤S103，若第一特征库中每个特征向量与当
前帧图像的特征向量之间的距离均大于或等于基准阈值，则执行步骤S104。其中，基准阈值
可以经过多次测试设置。

[0054] 需要说明的是，在上述步骤S102中，若检测到第一特征库中不存在特征向量与当前帧图像进行比对，例如，在一种应用场景中，初始状态下的第一特征库中不存在特征向
量；此时，可以将当前帧图像与第二特征库进行比对，若判定当前帧图像中目标通道未被占
用，再将当前帧图像的特征向量添加到第一特征库中，这样在采集到下一帧图像作为当前
帧图像时，就可以执行上述与第一特征库进行比对的步骤。

[0055] 步骤S103，判定目标通道未被占用，并将当前帧图像的特征向量更新到第一特征库中。

[0056] 步骤S104，判定当前帧图像满足预设异常条件，缩短采样间隔采集下一帧图像。

[0057] 当前帧图像的特征向量与第一特征库中特征向量之间的距离，表征了对应两帧图像中反映通道是否被占用的特征的相似程度。距离小于基准阈值，则表示这两帧图像中反
映通道是否被占用的特征相似程度相对较高，即实时特征比对成功，说明目标通道当前并
未被占用。然后，将当前帧图像的特征向量添加到第一特征库中。并且，剔除第一特征库中
超出预设时间段的特征向量。以预设时间段为近30分钟为例，即剔除到当前时刻为止存储
超过30分钟的特征向量。再等待采集下一帧图像，重复执行上述步骤S101至步骤S104。

[0058] 若与第一特征库中所有特征向量之间的距离均大于或等于基准阈值，则表示当前帧图像中反映通道是否被占用的特征与近期未占道图像的相似度相对较低，即当前帧图像
的实时特征比对失败，从而判定当前帧图像满足预设异常条件。此时，目标通道中可能发生
了占道情况，也有可能只是有行人经过等暂时性事件。因此，为了避免暂时性事件导致误
判，需要进入复核步骤，即继续采集后续帧图像继续进行上述实时特征比对，以尽量排除暂
时性事件导致的比对失败。

[0059] 可以理解的是，上述步骤S104采用的图像采样间隔小于步骤S101采用的图像采样间隔，具体可以根据实际需要设置，例如，当步骤S101采用的图像采样间隔为10分钟时，步
骤S104采用的图像采样间隔可以设置为1分钟。

[0060] 需要说明的是，需要复核的连续图像帧数可以根据步骤S104中采用的图像采样间隔以及实际应用场景中暂时性事件的持续时间确定。举例来讲，假设实际应用场景中暂时
性事件的持续时间为S，步骤S104中的图像采样间隔为T2，需要复核的连续图像帧数M=S/
T2，其中，M为大于或等于2的整数。进一步地，假设步骤S101中的初始图像采样间隔为T1，T2
可以设置为小于T1/M的值，这样有利于确保第一特征库中有足够多的特征向量可以进行比
对，从而保证实时特征比对的可靠性。

[0061] 在通过步骤S104采集到下一帧图像后，则将下一帧图像作为新的当前帧图像，重复执行上述步骤S101的特征向量提取以及步骤S102的实时特征比对，如此循环。若有连续M
帧图像均被判定为满足预设异常条件，即均无法与实时特征库比对成功，则说明有可能发
生占道事件超过S分钟，并非行人经过等短暂性事件，则退出循环，进入以下步骤S105。若该
循环过程中，某一次采集的实时图像的特征向量与实时特征库比对成功，则说明刚才比对
不成功情况是轻微的环境抖动造成的（例如行人经过或者轻微的光线变化），随即退出循
环，回到步骤S101，继续等待下一帧图像。可选的，可以将循环中比对成功的图像的特征向
量也添加到第一特征库中。

[0062] 以步骤S101采用的图像采样间隔为10分钟，步骤S104采用的图像采样间隔为1分钟为例，在步骤S101采集的图像的特征向量与第一特征库比对失败后，每隔1分钟取1张监
控摄像头中的实时图像并计算其特征向量，同时与第一特征库进行比对，如此循环，若一共
连续5张图片的特征向量都无法与第一特征库比对成功，则说明有可能发生占道事件超过5
分钟，并非行人经过等短暂性事件。

[0063] 步骤S105，若连续M帧图像均满足预设异常条件，则将M帧图像的特征向量与第二特征库中的各特征向量进行比对，若距离均大于第一参考阈值，则判定目标通道被占用，上
报通道占用事件以及M帧图像。

[0064] 其中，M为大于或等于2的整数，第二特征库中存储有多个第二参考图像的特征向量，多个第二参考图像包括在多种外界环境下采集的目标通道未被占用时的图像。例如，可
以包括暴雨，暴雪，沙尘暴，白天或晚上等多种外界环境下采集的目标通道未被占用时的图
像。先将这些第二参考图像各自输入步骤S101中的通道占用模型即可得到各自对应的特征
向量，进而再将这些第二参考图像的特征向量对应存储到第二特征库中。

[0065] 举例来讲，第二特征库中存储有100个第二参考图像对应的特征向量，即存储有100个特征向量，若上述M帧图像中每帧图像的特征向量与这100个特征向量之间的距离均
大于第一参考阈值，则判定目标通道被占用，将通道占用事件以及这M帧图像均上报给监管
人员。进一步地，在一种可选的实施方式中，除了上报监管人员以外，也可以发出控制指令，
控制预先设置在目标通道处的报警装置发出报警，例如，也可以采用声光报警以及语音播
报一些关于占道行为的危害以及惩罚等，以警示占道人停止占道行为。

[0066] 监管人员收到上报的通道占用事件后，可以及时查看目标通道的监控摄像头以及上报的图片进行验证。若验证结果为正确的占道事件，则做出相应的处理；若为错误的占道
事件，则查看上报的M帧图像是否的确为未占道图片，若是，则将这M帧图像的特征向量均存
储到第二特征库中，并将这M帧图像存储到与第二特征库对应的图像库中。

[0067] 可以理解的是，实际应用场景中，随着系统运行的时间越来越长，第二特征库中的特征将越来越丰富，错误上报的事件也会逐渐趋近于零。

[0068] 进一步地，在上述与第二特征库的比对中，若上述M帧图像中，存在与第二特征库中任意一特征向量之间距离小于或等于第一参考阈值的图像，可以判定目标通道未被占
用。可以理解的是，M帧图像的特征中存在能够与第二特征库比对上的特征，却没比对上实
时特征库，说明短时间内环境变化较大，但是未占道的特征库中有类似未占道特征。此时未
占道的可信度仍然很高，无需上报。

[0069] 若上述M帧图像中，存在与第二特征库中任意一特征向量之间距离大于第二参考阈值且小于或等于第一参考阈值的图像，则将该图像的特征向量添加到第二特征库中，并
将该图像添加到与第二特征库对应的图像库中。本实施例中，将这些与第二特征库比对结
果大于第二参考阈值且小于或等于第一参考阈值的特征向量和相应图像入库，能够让第二
特征库中的特征有一定的差异性，即使得比对特征更加丰富，有利于提高上报结果的准确
性。而对于特征差异过小的（即与第二特征库中所有特征向量的距离均小于第二参考阈值）
的特征向量以及相应图像，认为与第二特征库内的特征较为相似，考虑到存储资源以及检
测效率，可以舍弃掉。

[0070] 本发明实施例中，第一参考阈值大于第二参考阈值，第二参考阈值大于基准阈值。第一参考阈值用于衡量图像中的目标通道被占用，第二参考阈值用于衡量是否将图像以及
图像特征入库。举例来讲，假设特征向量之间的距离上限为1，下限为0，那么，基准阈值可以
设置在0.2到0.4之间，第二参考阈值可以设置在0.5到0.6之间，第一参考阈值可以设置在
0.8到0.9之间。

[0071] 另外，为了节省存储资源以及提高检测效率，在一种可选的实施例中，可以对第二特征库进行自更新，自动删除第二特征库和相应图像库中冗余度较高的特征和图片。具体
来讲，本发明实施例提供的通道监测方法还可以包括：按照预设触发条件执行以下特征库
更新步骤：对第二特征库中的各特征向量进行聚类，得到多个特征向量簇，每个特征向量簇
中包括至少一个特征向量；针对每个特征向量簇，将除特征向量簇的中心点之外的特征向
量，和/或，距离中心点预设半径范围之内的特征向量确定为冗余特征向量；将冗余特征向
量从第二特征库中剔除。

[0072] 其中，预设触发条件可以根据实际需要设置，例如，可以是时间触发条件如按照预设时间周期触发特征库更新步骤，或者，也可以是存储量触发条件如当第二特征库的存储
量达到预设存储量时触发特征库更新步骤。

[0073] 图3示出了一种示例性自更新流程示意图，图3左侧部分的带填充图案的圆圈表示第二特征库中的特征向量，图3中间部分每个虚线圆圈表示一个类簇，虚线圆圈中的带填充
图案的圆圈表示属于该类簇的特征向量，如图3右侧部分为去除冗余后的剩余特征。对第二
特征库中的各特征向量进行聚类可以采用聚类算法，例如，可以采用K‑Means聚类算法或
dbscan聚类算法等。如图3所示，通过聚类可以将第二特征库中的特征向量划分为多个类簇
即多个特征向量簇。可以理解的是，属于同一类簇的特征向量是相对比较类似的，属于不同
类簇的特征向量相对差异较大，因此，可以在同一类簇中，进行冗余特征向量的删除。

[0074] 具体来讲，在聚类完成后，每个类簇均会确定出一个中心点，反应了该类簇的聚类中心。在去除冗余特征时，可以遍历每个类簇，若当前类簇的中心点为当前类簇包含的其中
一个特征向量，可以将当前类簇中除中心点之外的特征向量均确定为冗余特征向量进行删
除，或者，将距离中心点预设半径范围之内的特征向量确定为冗余特征向量进行删除；若当
前类簇的中心点不是当前类簇中的特征向量，可以将距离中心点预设半径范围之内的特征
向量确定为冗余特征向量进行删除。另外，预设的图像库中存储有第二特征库中特征向量
对应的图像，在删除第二特征库中的冗余特征向量后，可以删除图像库中的相应图像。

[0075] 通过执行上述特征库更新步骤一方面可以大幅度减少人为参与到重复、乏味的删除特征和图像的工作量，且避免人眼认为不相近的图片有可能是人的认知能力的局限导致
的，忽略了图像的内在联系；另一方面可以降低存储成本，减少与第二特征库的特征比对次
数，从而提高系统的响应速度即提高检测效率。

[0076] 综上所述，本发明实施例提供的通道监测方法，摒弃了传统的图像特征点比对方式，利用深度学习模型提取图像的深层次特征，通过深层次的多维的特征来进一步确定通
道是否被占用，鲁棒性强，受外界环境影响小。并且，设置了第一特征库和第二特征库，进行
两个阶段的比对。第一阶段先进行异常图像的初判，通过第一特征库进行实时特征变化情
况的比对，确定图像是否存在异常，在识别到连续M帧图像均存在异常避免暂时性事件的干
扰后，再进入第二阶段的深入比对，将这M帧图像与第二特征库进行比对，第二特征库中存
储有多种外界环境如暴雨，暴雪以及沙尘暴等各种环境下通道未占用图像特征，能够更准
确地识别通道是否被占用。这样，通过两个阶段的特征比对，能够有效地减少由于外界环境
骤变所引起的错误上报，比如特征库中存储室内外光线的突然变化，有利于较准确地对通
道的占用情况进行监测。

[0077] 另外，由于第一特征库中存储的是近预设时间段内的实时特征向量，数量远小于第二特征库中的特征向量数量，先进行第一阶段异常图像的初判，再进行第二阶段的深入
比对，有利于提高通道占用的检测效率。

[0078] 第二方面，请参见图4，为本发明实施例提供的一种通道监测装置的模块框图，所述通道监测装置40可以包括：

[0079] 特征提取模块401，用于将摄像头采集的目标通道的当前帧图像输入通道占用模型，得到所述当前帧图像的特征向量，其中，所述通道占用模型为预先基于目标通道未被占
用时采集的样本图像以及被占用时采集的样本图像训练得到的深度学习模型；

[0080] 预判模块402，用于判断第一特征库中是否存在与所述当前帧图像的特征向量距离小于基准阈值的特征向量，其中，所述第一特征库存储有预设时间段内采集的第一参考
图像的特征向量，所述第一参考图像为目标通道未被占用时的图像；

[0081] 第一处理模块403，用于若存在，则判定所述目标通道未被占用，并将所述当前帧图像的特征向量更新到所述第一特征库中；

[0082] 第二处理模块404，用于若不存在，则判定所述当前帧图像满足预设异常条件，缩短采样间隔采集下一帧图像；

[0083] 比对模块405，用于若连续M帧图像均满足所述预设异常条件，则将所述M帧图像的特征向量与第二特征库中的各特征向量进行比对，若距离均大于第一参考阈值，则判定所
述目标通道被占用，上报通道占用事件以及所述M帧图像，其中，所述第二特征库中存储有
多个第二参考图像的特征向量，所述多个第二参考图像包括在多种外界环境下采集的目标
通道未被占用时的图像。

[0084] 进一步地，所述比对模块405还用于：若所述M帧图像中，存在与所述第二特征库中任意一特征向量之间距离小于或等于第一参考阈值的图像，则判定所述目标通道未被占
用。

[0085] 进一步地，所述比对模块405还用于：若所述M帧图像中，存在与所述第二特征库中任意一特征向量之间距离大于第二参考阈值且小于或等于第一参考阈值的图像，则将该图
像的特征向量添加到所述第二特征库中，并将该图像添加到与所述第二特征库对应的图像
库中，其中，所述第二参考阈值大于所述基准阈值。

[0086] 进一步地，上述通道监测装置40还可以包括：模型训练模块，用于：

[0087] 获取训练数据，所述训练数据包括多个在所述目标通道未被占用时采集的第一样本图像，以及多个在所述目标通道被占用时采集的第二样本图像；

[0088] 基于所述训练数据，对预先构建的深度学习模型进行训练，得到所述通道占用模型，所述通道占用模型用于输出目标通道的图像的特征向量。

[0089] 进一步地，上述模型训练模块还用于：获取所述目标通道的样本图像，基于所述样本图像对预先构建的空间变换网络进行训练，得到前置空间变换子模型；将所述前置空间
变换子模型插入预先构建的神经网络模型，得到所述深度学习模型。

[0090] 进一步地，所述深度学习模型的损失函数基于预设的ArcFace损失函数、CosFace损失函数、SphereFace损失函数、类内损失函数以及类间损失函数确定。

[0091] 进一步地，上述通道监测装置40还可以包括：自更新模块406，用于按照预设触发条件执行以下特征库更新步骤：

[0092] 对所述第二特征库中的各特征向量进行聚类，得到多个特征向量簇，每个特征向量簇中包括至少一个特征向量；

[0093] 针对每个特征向量簇，将除所述特征向量簇的中心点之外的特征向量，和/或，距离所述中心点预设半径范围之内的特征向量确定为冗余特征向量；

[0094] 将所述冗余特征向量从所述第二特征库中剔除。

[0095] 需要说明的是，以上各模块可以是由软件代码实现，也可以由硬件例如集成电路芯片实现。

[0096] 还需要说明的是，以上各模块实现各自功能的具体过程，请参见上述方法实施例中描述的具体内容，此处不再赘述。

[0097] 第三方面，基于同一发明构思，本发明实施例还提供了一种电子设备。如图5所示，该电子设备包括存储器504、一个或多个处理器502及存储在存储器504上并可在处理器502
上运行的计算机程序。处理器502执行该程序时实现前文第一方面提供的通道监测方法的
任一实施例的步骤，具体过程可以参照上述第一方面提供的方法实施例的相关内容。

[0098] 其中，在图5中，总线架构（用总线500来代表），总线500可以包括任意数量的互联的总线和桥，总线500将包括由处理器502代表的一个或多个处理器和存储器504代表的存
储器的各种电路链接在一起。总线500还可以将诸如外围设备、稳压器和功率管理电路等之
类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步
描述。总线接口505在总线500、接收器501和发送器503之间提供接口。接收器501和发送器
503可以是同一个元件，即收发机，提供用于在传输介质上与各种其他装置通信的单元。处
理器502负责管理总线500和通常的处理，而存储器504可以被用于存储处理器502在执行操
作时所使用的数据。

[0099] 可以理解，图5所示的结构仅为示意，本发明实施例提供的电子设备还可包括比图5中所示更多或者更少的组件，或者具有与图5所示不同的配置。图5中所示的各组件可以采
用硬件、软件或其组合实现。

[0100] 第四方面，基于同一发明构思，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现前文第一方面提供的通道监测方法任
一实施例的步骤。

[0101] 本说明书是参照根据本发明实施例的方法、设备、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／
或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令
到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一
个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在
流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的设备。

[0102] 这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指
令设备的制造品，该指令设备实现在流程图一个流程或多个流程和／或方框图一个方框或
多个方框中指定的功能。

[0103] 这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或
其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一
个方框或多个方框中指定的功能的步骤。

[0104] 在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际
的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包
含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括
没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素
的过程、方法、物品或者设备中还存在另外的相同要素。

[0105] 尽管已描述了本说明书的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括
优选实施例以及落入本说明书范围的所有变更和修改。

[0106] 显然，本领域的技术人员可以对本说明书进行各种改动和变型而不脱离本说明书的精神和范围。这样，倘若本说明书的这些修改和变型属于本说明书权利要求及其等同技
术的范围之内，则本说明书也意图包含这些改动和变型在内。