本发明涉及图像动态识别技术领域，公开了主站调度系统后台画面图像的动态识别方法，包括：获取后台画面图像传入骨干卷积神经网络提取特征激活图；对所述原始特征数据采用数据增广策略增加原始特征数据训练样本的多样性，获取训练样本的数据连续帧，根据数据帧数设计特征谱流；通过计算所述相邻数据帧数之间特征谱流获取融合特征，提取短时运动特征；基于所述短时运动特征采用数据交换策略模拟长时运动特征获取动态图像。本发明利用图像中特征谱流作为相邻数据帧之间特征谱级别的差异表示，通过对特征谱的二维卷积和残差连接操作，降低了算法的复杂程度，采用特征融合方法使融合特征具有更好的时空表征能力，有效提高了行为识别的正确率。
1.一种主站调度系统后台画面图像的动态识别方法，其特征在于，包括以下步骤：步骤100、获取后台画面图像，将所述后台画面图像传入骨干卷积神经网络中提取特征激活图，将所述特征激活图作为输入图像信息的原始特征数据；
步骤200、采用数据增广策略，对所述原始特征数据增加原始特征数据，训练样本的多样性，获取训练样本的数据连续帧；使用1×1的二维卷积对输入的数据连续帧进行降维，获取数据帧数，根据所述数据帧数设计特征谱流；
步骤300、计算相邻的所述数据帧数之间的特征谱流，获取融合特征，对运动建模及提取短时运动特征；
步骤400、基于所述短时运动特征，采用数据交换策略模拟长时运动特征，获取动态图像；
步骤101、使用ResNet50网络作为骨干卷积网络，从最后一个卷积层中提取数据特征点，得到 特征激活图；其中， 是特征激活图的通道数量， 和 分别是特征激活图空间尺寸的高度和宽度；
步骤102、选定所述特征激活图，沿竖直方向将所述特征激活图平均地划分为 部分，获得水平特征激活图区域；其中， 表示图片中物体水平区域划分的区域数量；
步骤103、将全局平均特征分别应用于每一个水平特征激活图区域上，得到 个局部特征，每个局部特征表示为一个通道数为Ｃ的特征向量；
步骤104、使用 个局部特征区域的特征向量监督全局特征，获取全部原始特征数据。
2.根据权利要求1所述的一种主站调度系统后台画面图像的动态识别方法，其特征在于，所述步骤103还包括：根据所述特征向量检测识别原始特征数据，通过多个卷积层和池化层形成特征图，采用数据增广策略，对输出的特征图增加原始特征数据，训练样本的多样性。
3.根据权利要求2所述的一种主站调度系统后台画面图像的动态识别方法，其特征在于，所述步骤200包括：对所述训练样本在空间分支网络上，使用1×1的二维卷积的方法对单帧图像提取空域特征；
在时间分支网络上，先通过帧序列计算得到特征谱流，随后对特征谱流进行二维卷积，在每个卷积层之后，对两分支的数据进行数据交换。
4.根据权利要求3所述的一种主站调度系统后台画面图像的动态识别方法，其特征在于，所述数据交换包括：将时间分支网络卷积层得到的特征谱加在空间分支网络上，将空间分支网络的结果用于计算下一个特征谱流，将两分支在最后一层进行特征融合，确定图像特征谱。
5.根据权利要求4所述的一种主站调度系统后台画面图像的动态识别方法，其特征在于，在步骤200中，根据所述数据帧数设计特征谱流，表达式为：其中 、 、 、 代表的是第 帧、第t+1帧、第t+30帧、第 帧卷积得到的时间分支特征谱， 、 是第 帧、第t+31帧得到的时间分支特征谱空间卷积的结果， 是计算得到的特征谱流。
6.根据权利要求5所述的一种主站调度系统后台画面图像的动态识别方法，其特征在于，所述步骤300包括：将对应的特征谱流使用二维卷积对两分支的主干网络进行特征提取，对特征谱和特征谱流进行反复的二维卷积，并计算相邻数据帧数之间特征谱流的融合特征。
7.根据权利要求6所述的一种主站调度系统后台画面图像的动态识别方法，其特征在于，所述步骤300包括：步骤301、对时间分支特征谱 做空间全局池化，得到特征谱尺寸为T×1×1×D的运动形态特征 ；其中 表示输入时间分支特征谱 的时间长度，1表示每帧的宽和高，是每帧图像的通道数；
步骤302、使用1×1×1的卷积核对通道数进行缩小，再使用一个1×1×1的卷积核对通道数进行放大获取通道间的相关性；
步骤303、使用 Sigmoid 函数对时间分支特征谱 进行归一化，得到运动形态融合特征 ，所述融合特征 的表达式为：其中 和 为两个1×1×1的卷积核， 为空间全局平均池化层， 表示Sigmoid函数的系数。
8.根据权利要求6所述的一种主站调度系统后台画面图像的动态识别方法，其特征在于，所述步骤400包括：步骤401、将时间分支的特征谱流与空间分支的特征谱逐点相加，实现时间特征与空间特征的第一次融合；
步骤402、将空间分支的特征谱通过1×1卷积和3×3卷积，分别实现变形和高层特征抽象，在时间分支的每个卷积层之后，多次计算相邻数据帧的残差；
步骤403、依据时序移动残差通过融合数据模拟运动特征。
9.根据权利要求8所述的一种主站调度系统后台画面图像的动态识别方法，其特征在于，所述步骤403包括：将不同数据帧数之间的通道进行平移置换，使得每一层特征谱都有相邻帧的通道值融合，获取基于特征谱的时域信息；
依据时域信息将特征谱按时间维度进行分组，在每组中分别进行通道的平移操作；
使用1×3×3的伪三维卷积对输入特征谱进行卷积，弥补平移操作后的空白数据帧，利用残差在时序上构建时域模型长时运动特征。
一种主站调度系统后台画面图像的动态识别方法
技术领域
[0001] 本发明实施例涉及图像动态识别技术领域，具体涉及一种主站调度系统后台画面图像的动态识别方法。
背景技术
[0002] 现有模式下主站调度系统已经应用到各个方面，调度环节肩负着整个主站系统的安全运行与管理，其运行水平的高低是智能主站信息化建设的一个重要表征，但是现有的调度中心和主站的自动化系统各自遵循不同的标准体系，在主站调度系统里需对后台画面图像进行识别处理后同步至其他系统。
[0003] 现有的主站调度系统在处理后台图像上存在以下缺陷：
[0004] 现有的图像识别方法采用双流法在时间流分支上常采用 RGB 差异作为输入，作为空间特征的补充，时间流可以作为图像的时域信息，但是算法复杂度高，图像的帧间 RGB 差异几乎为零，会使其丧失对运动特征的判别性，识别精度不高。
[0005] 通过使用五个二维卷积层作为特征提取模块，分别对光流和单帧进行特征提取，而在融合三维卷积的双流网络中，则通过时间维度上的卷积和池化来筛选时域上的特征，无法精确的体现图像中物体的运动特性，而且随着网络数据的增加还存在计算量过大的问题。
发明内容
[0006] 为此，本发明实施例提供一种主站调度系统后台画面图像的动态识别方法，采用二维卷积对图像两分支的主干网络进行特征提取，随着网
[0007] 络的加深，对特征谱和特征谱流施以反复的二维卷积，利用数据交换策略更好地模拟长时运动特征，以解决现有技术中仅针对时间维度上的卷积和池化的时序特征导致的计算复杂，且精确度低的问题。
[0008] 为了实现上述目的，本发明的实施方式提供如下技术方案：
[0009] 一种主站调度系统后台画面图像的动态识别方法，包括以下步骤：
[0010] 步骤100、获取后台画面图像，将所述后台画面图像传入骨干卷积神经网络中提取特征激活图，将所述特征激活图作为输入图像信息的原始特征数据；
[0011] 步骤200、采用数据增广策略，对所述原始特征数据增加原始特征数据，训练样本的多样性，获取训练样本的数据连续帧；使用1×1的二维卷积对输入的数据连续帧进行降维，获取数据帧数，根据所述数据帧数设计特征谱流；
[0012] 步骤300、计算相邻的所述数据帧数之间的特征谱流，获取融合特征，对运动建模及提取短时运动特征；
[0013] 步骤400、基于所述短时运动特征，采用数据交换策略模拟长时运动特征，获取动态图像。
[0014] 可选地，所述步骤100包括：
[0015] 步骤101、使用ResNet50网络作为骨干卷积网络，从最后一个卷积层中提取数据特征点，得到 特征激活图；其中，是特征激活图的通道数量，和 分别是特征激活图空间尺寸的高度和宽度；
[0016] 步骤102、选定所述特征激活图，沿竖直方向将所述特征激活图平均地划分为 部分，获得水平特征激活图区域；其中，表示图片中物体水平区域划分的区域数量；
[0017] 步骤103、将全局平均特征分别应用于每一个水平特征激活图区域上，得到 个局部特征，每个局部特征表示为一个通道数为Ｃ的特征向量；
[0018] 步骤104、使用 个局部特征区域的特征向量监督全局特征，获取全部原始特征数据。
[0019] 可选地，所述步骤103还包括：
[0020] 根据所述特征向量检测识别原始特征数据，通过多个卷积层和池化层形成特征图，采用数据增广策略，对输出的特征图增加原始特征数据，训练样本的多样性。
[0021] 可选地，所述步骤200包括：
[0022] 对所述训练样本在空间分支网络上，使用1×1的二维卷积的方法对单帧图像提取空域特征；
[0023] 在时间分支网络上，先通过帧序列计算得到特征谱流，随后对特征谱流进行二维卷积，在每个卷积层之后，对两分支的数据进行数据交换。
[0024] 可选地，所述数据交换包括：
[0025] 将时间分支网络卷积层得到的特征谱加在空间分支网络上，将空间分支网络的结果用于计算下一个特征谱流，将两分支在最后一层进行特征融合，确定图像特征谱。
[0026] 可选地，在步骤200中，根据所述数据帧数设计特征谱流表达式为：
[0027]
[0028] 其中 、 、 、 代表的是第 帧、第t+1帧、第t+30帧、第t+31帧卷积得到的时间分支特征谱， 、 是第 帧、第t+31帧得到的时间分支特征谱空间卷积的结果， 是计算得到的特征谱流。
[0029] 可选地，所述步骤300包括：
[0030] 将对应的特征谱流使用二维卷积对两分支的主干网络进行特征提取，对特征谱和特征谱流进行反复的二维卷积，并计算相邻数据帧数之间特征谱流的融合特征。
[0031] 可选地，所述步骤300包括：
[0032] 步骤301、对时间分支特征谱 做空间全局池化，得到特征谱尺寸为T×1×1×D的运动形态特征 ；其中， 表示输入时间分支特征谱 的时间长度，1表示每帧的宽和高， 是每帧图像的通道数；
[0033] 步骤302、使用1×1×1的卷积核对通道数进行缩小，再使用一个1×1×1的卷积核对通道数进行放大获取通道间的相关性；
[0034] 步骤303、使用 Sigmoid 函数对时间分支特征谱 进行归一化，得到运动形态融合特征 ，所述融合特征 的表达式为：
[0035]
[0036] 其中 和 为两个1×1×1的卷积核， 为空间全局平均池化层， 表示Sigmoid函数的系数。
[0037] 可选地，所述步骤400包括
[0038] 步骤401、将时间分支的特征谱流与空间分支的特征谱逐点相加，实现时间特征与空间特征的第一次融合；
[0039] 步骤402、将空间分支的特征谱通过1×1卷积和3×3卷积，分别实现变形和高层特征抽象，在时间分支的每个卷积层之后，多次计算相邻数据帧的残差；
[0040] 步骤403、依据时序移动残差通过融合数据模拟运动特征。
[0041] 可选地，所述步骤403包括：
[0042] 将不同数据帧数之间的通道进行平移置换，使得每一层特征谱都有相邻帧的通道值融合，获取基于特征谱的时域信息；
[0043] 依据时域信息将特征谱按时间维度进行分组，在每组中分别进行通道的平移操作；
[0044] 使用1×3×3的伪三维卷积对输入特征谱进行卷积，弥补平移操作后的空白数据帧，利用残差在时序上构建时域模型长时运动特征。
[0045] 本发明的实施方式具有如下优点：
[0046] 本实施方式中主站调度系统后台画面图像的动态识别方法，利用图像中特征谱流作为相邻数据帧之间特征谱级别的差异表示，通过对特征谱的二维卷积和残差连接操作，激发了原始数据帧中的运动敏感信息，以降低算法的复杂程度，完成运动建模，采用特征融合方法使融合特征具有更好的时空表征能力，有效提高了行为识别的正确率。
附图说明
[0047] 为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。
[0048] 图1为本发明实施方式中的图像动态识别方法的流程示意图。
具体实施方式
[0049] 以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0050] 如图1所示，本发明提供了一种主站调度系统后台画面图像的动态识别方法，本实施方式利用图像中特征谱流作为相邻数据帧之间特征谱级别的差异表示，通过对特征谱的二维卷积和残差连接操作，激发了原始数据帧中的运动敏感信息，以降低算法的复杂程度，完成运动建模，采用特征融合方法使融合特征具有更好的时空表征能力，有效提高了行为识别的正确率。
[0051] 具体包括以下步骤：
[0052] S1、获取后台画面图像，将后台画面图像传入骨干卷积神经网络中提取特征激活图，将特征激活图作为输入图像信息的原始特征数据；
[0053] S2、采用数据增广策略，对原始特征数据增加原始特征数据，训练样本的多样性，获取训练样本的数据连续帧；使用1×1的二维卷积对输入的数据连续帧进行降维，获取数据帧数，根据数据帧数设计特征谱流；
[0054] S3、计算相邻的数据帧数之间的特征谱流，获取融合特征，对运动建模及提取短时运动特征；
[0055] S4、基于短时运动特征，采用数据交换策略模拟长时运动特征，获取动态图像。
[0056] 在步骤S1中，通过骨干卷积神经网络对每个输入图像进行分类获取原始特征数据，原始特征数据具体实施步骤为：
[0057] S101、使用ResNet50网络作为骨干卷积网络，从最后一个卷积层中提取数据特征点，得到 特征激活图；其中， 是特征激活图的通道数量， 和 分别是特征激活图空间尺寸的高度和宽度；
[0058] S102、选定特征激活图，沿竖直方向将特征激活图平均地划分为 部分，获得水平特征激活图区域；其中， 表示图片中物体水平区域划分的区域数量；
[0059] S103、将全局平均特征分别应用于每一个水平特征激活图区域上，得到 个局部特征，每个局部特征表示为一个通道数为Ｃ的特征向量；
[0060] S104、使用 个局部特征区域的特征向量监督全局特征，获取全部原始特征数据；
[0061] 本实施例中，全局平均特征为骨干卷积网络输出的全局特征用于表示整个图像的总体特征， 个局部特征用于表示图像不同区域的局部特征。
[0062] 在步骤S103中，根据特征向量检测识别原始特征数据，通过多个卷积层和池化层形成特征图，根据输出的特征图采用数据增广策略增加原始特征数据训练样本的多样性。
[0063] 本实施例中，数据增广策略利用LabelImg 图像标注工具对每幅图像中重点目标的真值框进行标注，得到包含目标中心点在图像中的位置以及所标注目标的宽度和高度的数据文件。
[0064] 在步骤S2中，对训练样本在空间分支网络上，使用1×1的二维卷积的方法对单帧图像提取空域特征，在时间分支网络上，先通过帧序列计算得到特征谱流，随后对特征谱流进行二维卷积，在每个卷积层之后，对两分支的数据进行数据交换。
[0065] 数据交换将时间分支网络卷积层得到的特征谱加在空间分支网络上，将空间分支网络的结果用于计算下一个特征谱流，两分支在最后一层进行特征融合，确定图像特征谱。
[0066] 本实施例中，将时间分支和空间分支分为两部分，通过数据交换操作和特征谱流这一输入形式，时空域特征融合贯穿于整个训练的过程中，而不是只在最后一层进行，为了实现时空域特征融合，在空间分支网络上，使用二维卷积的方法对单帧图像提取空域特征，在时间分支网络上，先通过帧序列计算得到特征谱流，随后对特征谱流进行二维卷积，在每个卷积层之后，对两分支的数据进行数据交换，数据交换是将时间分支网络卷积层得到的特征谱加在空间分支网络上，将空间分支网络的结果用于计算下一个特征谱流，两分支还在最后一层进行特征融合，进而得到行为识别的最终结果。
[0067] 在步骤S2中，依据图像特征谱使用1×1的二维卷积对输入的数据连续帧进行降维获取数据帧数，根据数据帧数设计特征谱数量，得到当前层的特征谱流，其表达式为：
[0068]
[0069] 其中 、 、 、 代表的是第 帧、第t+1帧、第t+30帧、第t+31帧卷积得到的时间分支特征谱， 、 是第 帧、第t+31帧得到的时间分支特征谱空间卷积的结果， 是计算得到的特征谱流。
[0070] 本实施例中，采用双流卷积网络的时间分支与空间分支进行数据交换，共同构成行为识别网络，二维卷积用来提取空间特征谱，在时间分支运动信息上建模，对输入的连续帧进行降维，根据输入的帧数来设计特征谱的数量，进而确定通道降维的参数，采用二维卷积将第一帧特征谱与后续残差运动信息拼接合并在一起，得到当前层的特征谱流，并反复叠加局部卷积，加强时间域的联系。
[0071] 本实施例中，采用特征谱流进行时间建模，在特征谱流和单帧流之间进行数据交换操作，而不只是在最后的卷积层进行融合，通过这两个方面的改进，增强了网络对时空域特征的融合能力，提升了对动态图像行为识别的精度。
[0072] 将对应的特征谱流使用二维卷积对两分支的主干网络进行特征提取，对特征谱和特征谱流进行反复的二维卷积，并计算相邻数据帧数之间特征谱流的融合特征，具体实施步骤如下：
[0073] S301、对时间分支特征谱 做空间全局池化，得到特征谱尺寸为T×1×1×D的运动形态特征 ，其中 表示输入时间分支特征谱 的时间长度，1表示每帧的宽和高，是每帧图像的通道数；
[0074] S302、使用1×1×1的卷积核对通道数进行缩小，再使用一个1×1×1的卷积核对通道数进行放大获取通道间的相关性；
[0075] S303、使用 Sigmoid 函数对特征谱 进行归一化，得到运动形态融合特征 ，融合特征 的表达式为：
[0076]
[0077] 其中 和 为两个1×1×1的卷积核， 为空间全局平均池化层， 表示Sigmoid函数的系数。
[0078] 本实施例中，特征谱流具有以下两个显著优点：第一，光流需要花费大量的计算时间，而特征谱流使用二维卷积得到，计算量大大减小；第二，光流最终只是与单帧预测结果加权平均或者直接求和，在时序建模上略显薄弱，而特征谱流的时序建模是持续的，随着特征谱流分支网络的深入，即可以获得低层的短时运动特征，也可以获得高层的长时运动特征，相比于 RGB 差异图像，由于存在额外的二维卷积操作，特征谱流在特征表达能力上更胜一筹，同时也避免了部分准静态行为带来的 RGB 差异输入无效的问题。
[0079] 在步骤S4中，依据融合特征 采用数据交换策略模拟模拟长时运动特征，其步骤如下：
[0080] S401、将时间分支的特征谱流与空间分支的特征谱逐点相加，实现时间特征与空间特征的第一次融合；
[0081] S402、再将空间分支的特征谱通过1×1卷积和3×3卷积，分别实现变形和高层特征抽象，在时间分支的每个卷积层之后，多次计算相邻数据帧的残差；
[0082] S403、依据时序移动残差通过融合数据模拟运动特征。
[0083] 本实施例中，采用了数据交换策略，将其用于基于特征谱流的双流网络中，能够获得更优的时空融合效果。
[0084] 在步骤S403中，时序移动残差具体实现步骤为：
[0085] 将不同数据帧数之间的通道进行平移置换，使得每一层特征谱都有相邻帧的通道值融合，获取基于特征谱的时域信息；
[0086] 依据时域信息将特征谱按时间维度进行分组，在每组中分别进行通道的平移操作；
[0087] 使用1×3×3的伪三维卷积对输入特征谱进行卷积弥补平移操作后的空白数据帧，利用残差在时序上构建时域模型长时运动特征。
[0088] 本实施例中，采用时序移动残差提取时空自融合特征，进行行为识别，时序移动残差主要通过时间通道移动和残差连接的操作实现了不产生额外计算量的时间建模和时空域自融合。
[0089] 本实施例中，采用5个1×3×3的伪三维卷积层只在第 1 层和第 5 层使用了两次时序移动残差，目的是减小内存消耗，这两个时序移动残差分别用来进行低层和高层的时间建模，时序移动残差可以得到时空自融合特征，进而得到行为识别结果。
[0090] 因此作为本发明的另一创新点，本实施方式基于图像识别的时间位移的时序残差，在没有带来额外的计算复杂度的情况下对运动特征进行提取，实现了时域建模，有效降低模型部署的难度。
[0091] 虽然，上文中已经用一般性说明及具体实施例对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。
