一种基于局部注意力机制的3D-ReID多目标追踪方法

摘要

一种基于局部注意力机制的3D‑ReID多目标追踪方法，所述该方法包括如下步骤：1)点云预处理、2)点云主干网络特征提取、3)局部ReID特征提取分支、4)多任务学习、5)数据关联和运动预测，本发明使用了点云局部的ReID特征进行3D多目标追踪，在物体运动不确定性较大的情况和遮挡场景下仍能进行跨帧的多目标追踪，具有很强的鲁棒性。

权利要求

1.一种基于局部注意力机制的3D‑ReID多目标追踪方法，其特征在于所述方法包括如下步骤：

1)点云预处理：由于点云具有无序的性质，无法直接输到卷积网络里进行处理，需要对点云进行预处理，采用了体素或pillar的预处理方式，经体素或pillar编码后，点云具有了规整的结构，输入到卷积神经网络中进行特征提取，其中体素化方式是在点云的3D空间中划分网格对点进行量化，pillar方式是将点云划分成柱状体形式；

2)点云主干网络特征提取：经过预处理后的点云使用标准的3D卷积或point方式的网络进行处理，得到相应形式的featuremap，将3D形式的featuremap经变换得到2D形式的featuremap，之后使用2D卷积网络进行不同层次特征的处理和拼接，送入后面的多分支任务head中；

3)局部ReID特征提取分支：ReID特征提取分支基于detection预测得到物体BEV形式的Bbox生成l×l大小的采样网格点，之后基于采样网格点在C×C×WReID特征图上进行双线性插值采样，得到物体的局部ReID特征：其中γ是双线性插值采样的系数，f(i.j)是BEV形式的ReID特征图的具体特征值，在局部采样得到的特征图上应用通道注意力和空间注意力机制后得到每个物体的局部关键ReID特征值，之后经全连接层得到最终物体的ReID特征；

4)多任务学习：经过主干网络对点云的处理后，便得到不同层次的特征图，对于多目标追踪任务，需要进行物体的定位，分类和ReID特征提取，需要进行多分支head的构建，对于定位和分类采用常规的卷积方法进行位置回归和二分类，对于局部点云ReID特征提取分支，采用表征学习和度量学习的方法进行训练，对于表征学习，直接利用CNN网络进行特征的自动提取，代替手动提取特征，在MOT任务中，将ReID特征提取视作分类任务，将不同的车或者行人视作不同的类别，直接根据id标号进行网络的约束，采用了softmaxloss进行点云ReID特征提取；而度量学习是直接从网络提取的同一物体的ReID特征在高维空间中的向量距离经训练变近，不同物体间的向量距离变远，采用了Npairloss进行点云ReID特征提取：其中K是anchor的数目， 是特征间的余弦距离， 是anchor特征， 是负样本的特征， 是正样本的特征，由于ReID特征在高维空间中根据相似性距离进行区分，使用了ReID特征进行增强分类任务，将与中心ReID特征相似距离较远的物体进行了滤除；

5)数据关联和运动预测：数据关联根据多种相似性矩阵：IOU相似性矩阵，特征相似性矩阵和分类矩阵进行前后帧物体的数据关联，通过分类矩阵约束仅同类物体可以被关联，经过特征相似性和IOU矩阵实进行权值分配，使用匈牙利算法进行准确的前后帧预测框和检测框的数据关联，实现了对同一物体的跨帧追踪，运动预测则根据过去帧物体的运动状态对当前帧物体的运动状态进行预测。

说明书

一种基于局部注意力机制的3D‑ReID多目标追踪方法

技术领域

[0001] 本发明涉及多目标检测与追踪，主要涉及一种基于局部注意力机制的3D‑ReID多目标追踪方法，属于深度学习方法领域。

背景技术

[0002] 跨境追踪技术(Person Re‑Identification简称ReID)，主要解决跨摄像头跨场景下行人的识别与检索，最早起源于人脸识别技术。多目标跟踪(MOT)是在一段视频中同时跟
踪多个目标，主要应用于安防监控和自动驾驶等场景。由于MOT需要进行前后帧物体的数据
关联任务，引入ReID技术进行数据关联可以在遮挡或者物体运动不确定性很大的情况下仍
能较好地进行多目标追踪，现有的多目标追踪技术大多基于视觉进行，因为图像具有很多
强区分力的特征：如2D形状，颜色以及纹理特征等，视觉的ReID技术已经非常成熟。当前视
觉MOT主要遵循“先检测后跟踪”的范式，某些工作采用基于多任务学习的方式将ReID分支
嵌入到检测器中同时进行位置回归，物体分类及ReID特征提取任务，之后基于位置和特征
相似性进行数据关联。而当前大多数3D多目标追踪工作主要基于视觉或者融合多模态信息
进行3D多目标追踪，而基于点云ReID做多目标追踪的工作现阶段仍比较少，相比视觉，点云
具有更多的3D形状信息，点云的空间分布以及丰富的距离信息，利用点云特有的性质做
ReID可以在3D空间下实现更鲁棒的多目标追踪。

发明内容

[0003] 为解决现有技术的不足，本发明旨在提出一种基于局部注意力机制的点云ReID多目标追踪的方法，通过对点云预处理后输入到神经网络中进行特征提取，之后基于物体回
归的位置进行局部ReID特征提取，数据关联时采用多种相似性矩阵进行关联，实现对复杂
场景下目标物体的精准识别与追踪。

[0004] 为实现上述目的，本发明采用以下技术方案：一种基于局部注意力机制的3D‑ReID多目标追踪方法，所述方法包括如下步骤：

[0005] 1)点云预处理：由于点云具有无序的性质，无法直接输到卷积网络里进行处理，所以需要对点云进行预处理，本方法采用了体素或pillar的预处理方式，经体素或pillar编
码后，点云具有了规整的结构，可以输入到卷积神经网络中进行特征提取。其中体素化方式
是在点云的3D空间中划分网格对点进行量化，pillar方式是将点云划分成柱状体形式。

[0006] 2)点云主干网络特征提取：经过预处理后的点云可以使用标准的3D卷积或point方式的网络进行处理，得到相应形式的featuremap，将3D形式的featuremap经变换得到2D
形式的featuremap，之后使用2D卷积网络进行不同层次特征的处理和拼接，送入后面的多
分支任务head中。

[0007] 3)局部ReID特征提取分支：ReID特征提取分支基于detection预测得到物体BEV形式的Bbox生成l×l大小的采样网格点，之后基于采样网格点在C×C×W ReID特征图上进行
双线性插值采样，得到物体的局部ReID特征：

[0008] 其中γ是双线性插值采样的系数，f(i.j)是BEV形式的ReID特征图的具体特征值。在局部采样得到的特征图上应用通道注意力和空间注意力机制后得到每个物体的局部关
键ReID特征值，之后经全连接层得到最终物体的ReID特征。因物体的ReID特征和物体自身
的局部邻域特征最相关，经局部ReID特征采样后，ReID特征和物体自身的位置大小关联性
更强，由于点云具有分布不均的特性，所以采样得到的特征值经过注意力机制后，会得到关
键特征值点，这样某些有效的特征值对于重识别能力的贡献更高，最终输出的ReID特征将
具有更强的判别能力。

[0009] 4)多任务学习：经过主干网络对点云的处理后，便得到不同层次的特征图，对于多目标追踪任务，需要进行物体的定位，分类和ReID特征提取，所以需要进行多分支head的构
建，对于定位和分类采用常规的卷积方法进行位置回归和二分类。对于局部点云ReID特征
提取分支，可以采用表征学习和度量学习的方法进行训练，对于表征学习，通常直接利用
CNN网络进行特征的自动提取，代替手动提取特征，所以在MOT任务中，可以将ReID特征提取
视作分类任务，将不同的车或者行人视作不同的类别，直接根据id标号进行网络的约束，本
方法采用了softmaxloss进行点云ReID特征提取；而度量学习是直接从网络提取的同一物
体的ReID特征在高维空间中的向量距离经训练变近，不同物体间的向量距离变远，本方法
采用了Npairloss进行点云ReID特征提取：

[0010]

[0011] 其中K是anchor的数目， 是特征间的余弦距离， 是anchor特征， 是负样本的特征， 是正样本的特征。由于ReID特征在高维空间中可以根据相似性距离进行
区分，所以本发明也使用了ReID特征进行增强分类任务，将与中心ReID特征相似距离较远
的物体进行了滤除。

[0012] 5)数据关联和运动预测：数据关联根据多种相似性矩阵：IOU相似性矩阵，特征相似性矩阵和分类矩阵进行前后帧物体的数据关联，通过分类矩阵约束仅同类物体可以被关
联，经过特征相似性和IOU矩阵实进行权值分配，使用匈牙利算法进行准确的前后帧预测框
和检测框的数据关联，实现了对同一物体的跨帧追踪，运动预测则根据过去帧物体的运动
状态对当前帧物体的运动状态进行预测。

[0013] 本发明使用了点云局部的ReID特征进行3D多目标追踪，在物体运动不确定性较大的情况和遮挡场景下仍能进行跨帧的多目标追踪，具有很强的鲁棒性。本发明提出的方法
优势体现在基于物体位置进行实例级别的ReID特征提取，所提取的特征和物体自身更相
关，同时使用了不同的方法对ReID特征提取分支进行训练，并使用该特征进行分类任务的
增强。本发明可以适用于各种需要目标识别与追踪的应用场景，特别是使用多激光雷达检
测的场景，例如公共区域，十字路口，自动驾驶等。

附图说明

[0014] 图1为本发明整体流程图；

[0015] 图2为本发明ReID特征T‑SNE降维可视化比对图。

[0016] 图3为本发明KITTI数据集的测试性能采集数据表。

具体实施方式

[0017] 下面将结合附图对本发明作详细的介绍：图1‑3所示，一种基于局部注意力机制的点云ReID多目标追踪的方法，通过对点云预处理后输入到神经网络中进行特征提取，之后
基于物体回归的位置进行局部ReID特征提取，数据关联时采用多种相似性矩阵进行关联，
实现对复杂场景下目标物体的精准识别与追踪。为实现上述目的，本发明采用以下技术方
案：一种基于局部注意力机制的3D‑ReID多目标追踪方法，所述方法包括如下步骤：

[0018] 1)点云预处理：由于点云具有无序的性质，无法直接输到卷积网络里进行处理，所以需要对点云进行预处理，本方法采用了体素或pillar的预处理方式，经体素或pillar编
码后，点云具有了规整的结构，可以输入到卷积神经网络中进行特征提取。其中体素化方式
是在点云的3D空间中划分网格对点进行量化，pillar方式是将点云划分成柱状体形式。

[0019] 2)点云主干网络特征提取：经过预处理后的点云可以使用标准的3D卷积或point方式的网络进行处理，得到相应形式的featuremap，将3D形式的featuremap经变换得到2D
形式的featuremap，之后使用2D卷积网络进行不同层次特征的处理和拼接，送入后面的多
分支任务head中。

[0020] 3)局部ReID特征提取分支：ReID特征提取分支基于detection预测得到物体BEV形式的Bbox生成l×l大小的采样网格点，之后基于采样网格点在C×C×W ReID特征图上进行
双线性插值采样，得到物体的局部ReID特征：

[0021]

[0022] 其中γ是双线性插值采样的系数，f(i.j)是BEV形式的ReID特征图的具体特征值。在局部采样得到的特征图上应用通道注意力和空间注意力机制后得到每个物体的局部关
键ReID特征值，之后经全连接层得到最终物体的ReID特征。因物体的ReID特征和物体自身
的局部邻域特征最相关，经局部ReID特征采样后，ReID特征和物体自身的位置大小关联性
更强，由于点云具有分布不均的特性，所以采样得到的特征值经过注意力机制后，会得到关
键特征值点，这样某些有效的特征值对于重识别能力的贡献更高，最终输出的ReID特征将
具有更强的判别能力。

[0023] 4)多任务学习：经过主干网络对点云的处理后，便得到不同层次的特征图，对于多目标追踪任务，需要进行物体的定位，分类和ReID特征提取，所以需要进行多分支head的构
建，对于定位和分类采用常规的卷积方法进行位置回归和二分类。对于局部点云ReID特征
提取分支，可以采用表征学习和度量学习的方法进行训练，对于表征学习，通常直接利用
CNN网络进行特征的自动提取，代替手动提取特征，所以在MOT任务中，可以将ReID特征提取
视作分类任务，将不同的车或者行人视作不同的类别，直接根据id标号进行网络的约束，本
方法采用了softmaxloss进行点云ReID特征提取；而度量学习是直接从网络提取的同一物
体的ReID特征在高维空间中的向量距离经训练变近，不同物体间的向量距离变远，本方法
采用了Npairloss进行点云ReID特征提取：

[0024]

[0025] 其中K是anchor的数目， 是特征间的余弦距离， 是anchor特征，是负样本的特征， 是正样本的特征。由于ReID特征在高维空间中可以根据相似性距离进
行区分，所以本发明也使用了ReID特征进行增强分类任务，将与中心ReID特征相似距离较
远的物体进行了滤除。

[0026] 5)数据关联和运动预测：数据关联根据多种相似性矩阵：IOU相似性矩阵，特征相似性矩阵和分类矩阵进行前后帧物体的数据关联，通过分类矩阵约束仅同类物体可以被关
联，经过特征相似性和IOU矩阵实进行权值分配，使用匈牙利算法进行准确的前后帧预测框
和检测框的数据关联，实现了对同一物体的跨帧追踪，运动预测则根据过去帧物体的运动
状态对当前帧物体的运动状态进行预测。

[0027] 从图1中我们可以看出主体分为4个步骤：点云的预处理，点云特征提取，多分支任务构建，数据关联与运动预测，其中ReID特征提取分支使用了物体BEV形式的Bbox进行局部
特征的采样，并基于注意力机制进行关键特征点的提取。

[0028] 图2中的两幅图是对采用度量学习法提取的多帧点云ReID特征的降维可视化，其中相同数字代表的是同一个物体，不同数字代表不同物体，数字间的位置越接近代表特征
间的相似性程度越高，可以看出相同物体间ReID特征的相似性比较高，不同物体间特征的
相似性比较低。

[0029] 图2是使用KITTI数据集的测试性能比较，其中MOTA是最重要的多目标追踪的评价指标。

[0030] 具体实施方式举例

[0031] 1.可以使用多种点云的预处理编码方式。比如采用pillar的方式速度比较快，采用体素的方式具有可以处理大量点云的优点。

[0032] 2.可以使用多种点云的特征提取方式。比如采用基于point的方式或者3D稀疏卷积的方式。

[0033] 3.可以采取多种点云ReID特征训练方法，比如表征学习和度量学习的方法，在点云中使用度量学习的方法具有更强的重识别能力。

[0034] 4.使用物体BEV形式的Bbox进行局部特征点采样时可以生成不同密度或者不同邻域大小的采样网格点，不同密度和不同的邻域大小对性能均有重要的影响。

[0035] 5.使用点云ReID特征进行数据关联可以在3D空间下进行更准确的多目标追踪，在物体运动较大和遮挡场景下具有很强的实用性。