一种用于开放集的运动目标跟踪方法

摘要

本发明公开了一种用于开放集的运动目标跟踪方法，属于智能安防技术领域，使用光流法确定出运动物体，采用第一矩形框框出第一运动目标区域，在第一矩形框基础上按照设定比例缩小得到第二矩形框，在第一矩形框框出的第一运动目标区域内采用第二矩形框框出的第二运动目标区域，通过两个矩形框框出同一运动目标的全局特征和局部特征；对单目标检测网络SiamRPN++进行改进，采用增加的次Target分支和原Target分支来对两个不同尺度的同一运动目标进行特征融合来丰富特征的多样性，提升了目标检测的准确性，能够对任意场景下的任意运动物体进行跟踪。

权利要求

1.一种用于开放集的运动目标跟踪方法，其特征在于，包括：S1:构建单目标跟踪数据集；

S2：基于光流法检测任意运动目标；

S3:采用第一矩形框框出第一运动目标区域；

S4：按照设定比例缩小第一矩形框得到第二矩形框，采用第二矩形框在第一运动目标区域框出第二运动目标区域；

S5:构建改进的单目标跟踪网络SiamRPN++，包括：Target分支，用于提取第一矩形框框出的第一运动目标区域的特征；

次Target分支，与所述Target分支并行，用于提取第二矩形框框出的第二运动目标区域的特征；

Search分支，用于提取检测图像的特征；

其中，所述次Target分支与所述Target分支的指定层的特征图进行通道级的Concat操作，然后将Concat操作输出的特征图与所述Search分支对应层的特征图送入Siamese RPN模块进行相关操作；

S6：采用S1构建的单目标跟踪数据集对S5改进的单目标跟踪网络SiamRPN++进行训练。

2.根据权利要求1所述的用于开放集的运动目标跟踪方法，其特征在于，基于光流法检测任意运动目标包括：若运动目标在连续N帧内被分割，将分割后的物体划分为单独运动物体；

若运动目标开始为分割状态，N帧内变为连续状态，将分割状态的物体划分为单独运动物体。

3.根据权利要求1所述的用于开放集的运动目标跟踪方法，其特征在于，所述次Target分支采用Resnet18实现。

4.根据权利要求1所述的用于开放集的运动目标跟踪方法，其特征在于，在步骤S5的训练中包括：对第一矩形框进行随机比例收缩，获取收缩后的运动目标，将其缩放到目标大小输入到所述次Target分支。

说明书

一种用于开放集的运动目标跟踪方法

技术领域

[0001] 本发明属于智能安防技术领域，具体地说，是涉及一种用于开放集的运动目标跟踪方法。

背景技术

[0002] 随着安防监控系统的普及，每天都会产生海量的视频场景数据，对海量数据进行人工过滤已成为视频利用的瓶颈，如何从视频数据中自动的获取知识已经成为计算机视觉领域的研究热点。其中，对视频中的运动目标进行自动的跟踪和轨迹分析已经成为军事、安防、社区安全监控的重点应用技术。同时，在自动驾驶领域，视频目标跟踪技术也有着重要的应用。

[0003] 视频目标跟踪根据跟踪目标数目的不同分为单目标跟踪和多目标跟踪。其中，单目标跟踪对视频中的单个目标进行跟踪，多目标跟踪对视频中的单个或多个种类的多个目标进行跟踪。随着深度学习的发展，单目标跟踪主要基于孪生网络范式，首先在初始帧指定需要跟踪的目标，然后在后续帧中对该目标进行搜索和匹配；多目标跟踪主要基于目标检测范式，首先对视频帧进行目标检测，然后对检测到的目标进行轨迹匹配。

[0004] 尽管基于深度学习的视频目标跟踪技术已经取得了巨大的进步，但在开放集中进行目标跟踪仍然面临着巨大的挑战。其中，单目标跟踪技术需要对跟踪目标进行预先设定，多目标跟踪技术中使用的目标检测算法首先需要在包含特定目标训练集上进行训练，只能检测到训练集包含的运动物体，因此它们都无法在运动目标未知的开放集中进行运动目标的跟踪。

发明内容

[0005] 本发明提出一种用于开放集的运动目标跟踪方法，针对开放集中任意运动目标，使用对运动种类不敏感的光流法对运动区域进行估计，然后使用改进的单目标跟踪网络对估计的运动区域在后续帧中进行搜索和匹配，从而实现对任意的运动目标跟踪。

[0006] 本发明采用以下技术方案予以实现：

[0007] 提出一种用于开放集的运动目标跟踪方法，其特征在于，包括：

[0008] S1:构建单目标跟踪数据集；

[0009] S2：基于光流法检测任意运动目标；

[0010] S3:采用第一矩形框框出第一运动目标区域；

[0011] S4：按照设定比例缩小第一矩形框得到第二矩形框，采用第二矩形框在第一运动目标区域框出第二运动目标区域；

[0012] S5:构建改进的单目标跟踪网络SiamRPN++，包括：

[0013] Target分支，用于提取第一矩形框框出的第一运动目标区域的特征；

[0014] 次Target分支，与所述Target分支并行，用于提取第二矩形框框出的第二运动目标区域的特征；

[0015] Search分支，用于提取检测图像的特征；

[0016] 其中，所述次Target分支与所述Target分支的指定层的特征图进行通道级的Concat操作，然后将Concat操作输出的特征图与所述Search分支对应层的特征图送入Siamese RPN模块进行相关操作；

[0017] S6：采用S1构建的单目标跟踪数据集对S5改进的单目标跟踪网络SiamRPN++进行训练。

[0018] 在本发明一些实施例中，基于光流法检测任意运动目标包括：

[0019] 若运动目标在连续N帧内被分割，将分割后的物体划分为单独运动物体；

[0020] 若运动目标开始为分割状态，N帧内变为连续状态，将分割状态的物体划分为单独运动物体。

[0021] 在本发明一些实施例中，所述次Target分支采用Resnet18实现。

[0022] 在本发明一些实施例中，在步骤S5的训练中包括：对第一矩形框进行随机比例收缩，获取收缩后的运动目标，将其缩放到目标大小输入到所述次Target分支。

[0023] 与现有技术相比，本发明的优点和积极效果是：本发明提出的用于开放集的运动目标跟踪方法中，使用光流法确定出运动物体，采用第一矩形框框出第一运动目标区域，在第一矩形框基础上按照设定比例缩小得到第二矩形框，在第一矩形框框出的第一运动目标区域内采用第二矩形框框出的第二运动目标区域，从而通过两个矩形框框出的全局运动目标和局部运动目标来共同表示运动物体，提升运动物体特征的鲁棒性，且具有对运动物体类别不敏感的优点；对单目标检测网络SiamRPN++进行改进，采用增加的次Target分支和原Target分支来对局部和全局的运动物体进行特征融合，从而提升了目标检测的准确性，突破了基于目标检测范式的多目标跟踪算法对先验知识的依赖，能够对任意场景下的任意运动物体进行跟踪。

附图说明

[0024] 为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

[0025] 图1为本发明提出的用于开放集的运动目标跟踪方法的方法示意；

[0026] 图2为本发明中通过光流法检测运动目标后框出第一运动目标区域和第二运动目标区域示意；

[0027] 图3为单目标跟踪网络SiamRPN++的网络结构示意；

[0028] 图4为本发明改进的单目标跟踪网络SiamRPN++的网络结构示意；

[0029] 图5为原始Siam RPN++网络对常规运动物体的跟踪结果；

[0030] 图6为经本发明改进的Siam RPN++网络对常规运动物体的跟踪结果；

[0031] 图7为常规运动物体大幅移动时，原始Siam RPN++网络的跟踪结果；

[0032] 图8为经本发明改进点的Siam RPN++网络对大幅移动的常规运动物体的跟踪结果；

[0033] 图9为原始Siam RPN++网络对非常规运动物体的跟踪结果；

[0034] 图10为经本发明改进的Siam RPN++网络对非常规运动物体的跟踪结果；

[0035] 图11为非常规运动物体形变较小时，原始Siam RPN++网络的跟踪结果；

[0036] 图12为经本发明改进的Siam RPN++网络对形变较小的非常规运动物体的跟踪结果；

[0037] 图13为非常规运动物体形变较大时，原始Siam RPN++网络的跟踪结果；

[0038] 图14为经本发明改进的Siam RPN++网络对形变较大的非常规运动物体的跟踪结果。

具体实施方式

[0039] 本发明提出一种用于开放集的运动目标跟踪方法，能够在运动目标未知的开放集中进行运动目标的跟踪，具体的，如图1所示，包括：

[0040] S1:构建单目标跟踪数据集。

[0041] 该数据集包括常规的运动物体，例如人、车、飞机、动物，以及一些非常规的非主动运动物体，例如风吹动的塑料袋、薄膜、风筝等；其中，每个类别包含多个视频，时间长度不固定。

[0042] 将该数据集划分为训练集和测试集，测试集中的一部分运动物体种类在训练集中出现过，一部分运动物体种类未在训练集中出现过。

[0043] 在本发明的一个实施例中，以常规运动物体包括20类，非常规类运动物体包括10类，每个类别包括5个视频，每个视频时长不固定为例，被划分的训练集包括1类‑15类常规运动物体和1类‑6类非常规运动物体，测试集至少包括16类‑20类运动物体和7类‑10类非常规运动物体。

[0044] S2：基于光流法检测任意运动目标。

[0045] 使用光流法检测任意运动目标，如果运动目标在N帧内出现物体被分割（也即，不完全连续），则将分割后的物体划分为单独的运动物体；如果刚开始运动目标为割裂状态，N帧内变为连续状态，则划分割裂状态的物体为单独的运动物体。

[0046] S3：采用第一矩形框框出第一运动目标区域。

[0047] 将S2中检测到的运动目标使用第一矩形框框出，该第一矩形框为框出包含最完整运动物体在内的最大外接矩形框，如图2每个运动目标最外层的深色框所示。

[0048] S4：按照设定比例缩小第一矩形框得到第二矩形框，采用第二矩形框在第一运动目标区域内框出第二运动目标区域。

[0049] 也即，通过第二矩形框框出运动目标的局部图像，而第一矩形框框出的是运动目标的全局图像，如图2每个运动目标里层的浅色框所示。

[0050] S5：构建改进的单目标跟踪网络SiamRPN++。

[0051] 如图3所示，单目标跟踪网络SiamRPN++的网络输入包括Target分支和Search分支，Target分支的输入的经过S2框出的第一运动目标区域图像，其大小为127*127*3。

[0052] 而训练过程中，Search分支输入的是视频其中一帧的整个画面，大小为255*255*3。

[0053] Target分支网络和Search分支网络构成一个孪生网络，某三层的输出各进行一次Siamese RPN操作。

[0054] 跟踪网络输出则为运动目标分类CLS和运动目标在原图中的坐标Bbox。

[0055] 本发明在现有单目标跟踪网络SiamRPN++基础上，如图4所示，增加次Target分支，让该次Target分支与原Target分支并行，两个分支的指定层的特征图进行通道级的Concat操作之后，也即将全局和局部的运动目标的特征进行融合，旨在对两个不同尺度的同一运动目标进行特征融合来丰富特征的多样性，融合后的特征图再与Search分支对应层的特征图送入Siamese RPN模块进行相关操作，从而提升目标跟踪的准确性。

[0056] 在本发明的实施例中，改进的单目标跟踪网络SiamRPN++中，次Target分支的conv3‑2层、conv4‑2层和conv5‑2层分别与Target分支的conv3‑5层、conv4‑6层、和conv5‑3层的特征图进行通道层级的concat操作，然后将concat操作输出的特征图与Search分支对应层的特征图送入Siamese RPN模块进行相关操作。

[0057] S6：采用S1构建的单目标跟踪数据集对S5改进的单目标跟踪网络SiamRPN++进行训练。

[0058] 在本发明实施例中，为了使次Target分支和Target分支产生的特征较好的进行融合、且尽可能的提升特征提取时间，次Target分支采用轻量级的Resnet18实现。

[0059] 训练过程中，将第一矩形框进行随机比例的收缩，从第一运动目标区域内框出收缩后的运动目标，将该运动目标缩放到127*127*3，然后输入到次Target分支。

[0060] 训练后的预测：将测试集采用上述步骤S1至S4，得到第一运动区域和第二运动区域，将第一运动区域的图片处理为127*127*3大小输入Target分支，将第二运动区域的图片处理为127*127*3大小输入次Target分支；将确定运动目标的那帧整个图像输入到Search分支，网络就会输出对应的运动目标分类以及坐标位置作为这一帧跟踪出来的结果，也就是这一帧运动目标所在的位置，然后重复上面的计算直到遍历完整个视频。

[0061] 如图5至图8所示的实施例中，对比了现有的Siam RPN++网络与本发明改进的Siam RPN++网络对常规运动物体（本实施例以人体为例）的跟踪效果：初始跟踪时，原始的Siam RPN++网络的对常规运动物体的跟踪结果如图5所示，经本发明改进的Siam RPN++网络对常规运动物体的跟踪结果如图6所示，当运动幅度大幅移动时，原始的Siam RPN++网络的跟踪结果如图7所示，经本发明改进的Siam RPN++网络的跟踪结果如图8所示，可以看出，当运动物体的运动幅度没有发生大的变化时，原始的Siam RPN++网络与本发明改进的Siam RPN++网络的跟踪能力相近，但当运动物体的运动幅度大幅改变时，原始Siam RPN++网络无法进行准确的跟踪，而经本发明改进的Siam RPN++网络结合局部和全局特征后，能够获得更好的跟踪结果。

[0062] 如图9至图14所示的实施例中，对比了现有的Siam RPN++网络与本发明改进的Siam RPN++网络对非常规运动物体（本实施例以塑料袋为例）的跟踪结果：初始跟踪时，原始的Siam RPN++网络对非常规运动物体的跟踪结果如图9所示，经本发明改进的Siam RPN++网络对非常规运动物体的跟踪结果如图10所示，当物体形变较小时，初始的Siam RPN++网络的跟踪结果如图11所示，经本发明改进的Siam RPN++网络的跟踪结果如图12所示，当物体形变较大时，初始的Siam RPN++网络的跟踪结果如图13所示，经本发明改进的Siam RPN++网络的跟踪结果如图14所示，可以看出，当运动物体的形变较小时，原始的Siam RPN++网络和经本发明改进的Siam RPN++网络对非常规运动物体的跟踪效果相近，但当运动物体的形变较大时，经本发明改进的Siam RPN++网络的跟踪效果显著优于原始的Siam RPN++网络。

[0063] 需要说明的是，在具体实现过程中，上述的控制部分可以通过硬件形式的处理器执行存储器中存储的软件形式的计算机执行指令实现，此处不予赘述，而上述控制电路所执行的动作所对应的程序均可以以软件形式存储于系统的计算机可读存储介质中，以便于处理器调用执行以上各个模块对应的操作。

[0064] 上文中的计算机可读存储介质可以包括易失性存储器，例如随机存取存储器；也可以包括非易失性存储器，例如只读存储器、快闪存储器、硬盘或固态硬盘；还可以包括上述种类的存储器的组合。

[0065] 上文所提到的处理器，也可以是多个处理元件的统称。例如，处理器可以为中央处理器，也可以为其他通用处理器、数字信号处理器、专用集成电路、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者可以是任何常规的处理器等等，还可以为专用处理器。

[0066] 应该指出的是，上述说明并非是对本发明的限制，本发明也并不仅限于上述举例，本技术领域的普通技术人员在本发明的实质范围内所做出的变化、改型、添加或替换，也应属于本发明的保护范围。