一种基于神经网络的行人翻越交通护栏的检测识别方法

摘要

本发明涉及数据识别技术领域，具体涉及一种基于神经网络的行人翻越交通护栏的检测识别方法，通过获取待监测护栏段的各对拍摄图像，对拍摄图像进行数据识别，确定各个人体目标在其对应的各对目标拍摄图像中的各个关节点及其向量串和邻域关节点，结合各对目标拍摄图像中的护栏区域信息，确定各个人体目标在其对应的各对目标拍摄图像中的各个关节点的邻域关节点的注意力权重，进而确定各个人体目标在其对应的各对目标拍摄图像中的各个关节点的更新向量串，从而确定各个人体目标的片段向量，最终得到各个人体目标的动作识别结果。本发明基于待监测护栏段的各对拍摄图像，并利用相应的数据识别技术，有效提高了行人翻越护栏检测的准确性。

权利要求

1.一种基于神经网络的行人翻越交通护栏的检测识别方法，其特征在于，包括以下步骤：

步骤S1：获取待监测护栏段的当前各个设定时刻对应的各对拍摄图像，所述拍摄图像包括第一侧拍摄图像和第二侧拍摄图像；

步骤S2：对各对拍摄图像进行人体目标识别，若识别到人体目标，则确定各个同一人体目标对应的各对目标拍摄图像，所述目标拍摄图像包括目标第一侧拍摄图像和目标第二侧拍摄图像；

步骤S3：对各对目标拍摄图像中的对应人体目标的关节点进行识别，从而确定各个同一人体目标在其对应的各对目标拍摄图像中的各个关节点、各个关节点的向量串和各个关节点的邻域关节点；

步骤S4：对各对目标拍摄图像中的护栏进行识别，从而确定各对目标拍摄图像中的护栏区域信息；

步骤S5：根据各个同一人体目标在其对应的各对目标拍摄图像中的各个关节点和护栏区域信息，确定各个同一人体目标在其对应的各对目标拍摄图像中的人体护栏距离值和腿部弯曲度；

步骤S6：根据各个同一人体目标在其对应的各对目标拍摄图像中的各个关节点的向量串、邻域关节点的向量串、人体护栏距离值和腿部弯曲度，确定各个同一人体目标在其对应的各对目标拍摄图像中的各个关节点的邻域关节点的注意力权重；

步骤S7：根据各个同一人体目标在其对应的各对目标拍摄图像中的各个关节点的向量串以及邻域关节点的注意力权重，确定各个同一人体目标在其对应的各对目标拍摄图像中的各个关节点的更新向量串，进而确定各个同一人体目标对应的片段向量；

步骤S8：将各个同一人体目标对应的片段向量分别输入到预先获取的行人翻越交通护栏识别网络中，从而得到各个同一人体目标的动作识别结果；

确定各个同一人体目标在其对应的各对目标拍摄图像中的各个关节点的邻域关节点的注意力权重对应的计算公式为：其中， 为每个同一人体目标在其对应的第n帧目标拍摄图像中的第i个关节点的第j个邻域关节点的注意力权重， 为每个同一人体目标在其对应的第n帧目标拍摄图像中的第i个关节点的向量串， 为每个同一人体目标在其对应的第n帧目标拍摄图像中的第i个关节点的第j个邻域关节点的向量串， 为共享线性变化矩阵， 为将 和拼接后得到向量， 为用于将 映射到一个实数上的单层前馈神经网络的

权重向量， 为每个同一人体目标在其对应的第n帧目标拍摄图像中的腿部弯曲度， 为每个同一人体目标在其对应的第n帧目标拍摄图像中的人体护栏距离值， 为激活函数，为每个同一人体目标在其对应的第n帧目标拍摄图像中的第i个关节点的邻域关节点的总数目。

2.根据权利要求1所述的基于神经网络的行人翻越交通护栏的检测识别方法，其特征在于，从而确定各个同一人体目标在其对应的各对目标拍摄图像中的各个关节点和各个关节点的向量串，包括：对各对目标拍摄图像中的对应人体目标的关节点进行识别，从而得到各个同一人体目标在其对应的各对目标拍摄图像中的各个关节点、各个关节点的特征向量和前后类别；

根据各个同一人体目标在其对应的各对目标拍摄图像中的各个关节点的部位种类和前后类型，对各个关节点进行编码，从而得到各个同一人体目标在其对应的各对目标拍摄图像中的各个关节点的部位编码；

根据各个同一人体目标在其对应的各对目标拍摄图像中的各个关节点的位置坐标、特征向量和部位编码，构造各个同一人体目标在其对应的各对目标拍摄图像中的各个关节点的向量串。

3.根据权利要求2所述的基于神经网络的行人翻越交通护栏的检测识别方法，其特征在于，从而确定各个同一人体目标在其对应的各对目标拍摄图像中的各个关节点的邻域关节点，还包括：根据各个同一人体目标在其对应的各对目标拍摄图像中的各个关节点的位置坐标，构造各个同一人体目标在其对应的各对目标第一侧拍摄图像和目标第二侧拍摄图像中的骨架图；

根据各个同一人体目标在其对应的各对目标第一侧拍摄图像和目标第二侧拍摄图像中的骨架图，确定各个同一人体目标在其对应的各对目标第一侧拍摄图像和目标第二侧拍摄图像中的每个关节点的与其相连接的关节点；

确定各个同一人体目标在其对应的每帧目标第一侧拍摄图像中的每个关节点的邻域关节点，所述邻域关节点包括：该关节点的与其相连的关节点、该关节点所在的目标第一侧拍摄图像对应的目标第二侧拍摄图像中的同部位的关节点，该关节点所在的目标第一侧拍摄图像的相邻目标第一侧拍摄图像中的同部位的关节点、该关节点所在的目标第一侧拍摄图像对应的目标第二侧拍摄图像的相邻目标第二侧拍摄图像中的同部位的关节点；

确定各个同一人体目标在其对应的每帧目标第二侧拍摄图像中的每个关节点的邻域关节点，所述邻域关节点包括：该关节点的与其相连的关节点、该关节点所在的目标第二侧拍摄图像对应的目标第一侧拍摄图像中的同部位的关节点，该关节点所在的目标第二侧拍摄图像的相邻目标第二侧拍摄图像中的同部位的关节点、该关节点所在的目标第二侧拍摄图像对应的目标第一侧拍摄图像的相邻目标第一侧拍摄图像中的同部位的关节点。

4.根据权利要求1所述的基于神经网络的行人翻越交通护栏的检测识别方法，其特征在于，各个同一人体目标在其对应的各对目标拍摄图像中的各个关节点包括：鼻子关节点、脖子关节点、右肩膀关节点、右手肘关节点、右手手腕关节点、左肩膀关节点、左手肘关节点、左手手腕关节点、右胯关节点、右膝关节点、右脚关节点、左胯关节点、左膝关节点和左脚关节点。

5.根据权利要求4所述的基于神经网络的行人翻越交通护栏的检测识别方法，其特征在于，确定各个同一人体目标在其对应的各对目标拍摄图像中的人体护栏距离值和腿部弯曲度，包括：根据各个同一人体目标在其对应的各对目标拍摄图像中的各个关节点中的脖子关节点、右胯关节点、右膝关节点、左胯关节点和左膝关节点的位置坐标，确定各个同一人体目标在其对应的各对目标拍摄图像中的右腿身体主干向量、左腿身体主干向量、右大腿向量和左大腿向量；

根据各个同一人体目标在其对应的各对目标拍摄图像中的右腿身体主干向量、左腿身体主干向量、右大腿向量和左大腿向量，确定各个同一人体目标在其对应的各对目标拍摄图像中的右腿弯曲度和左腿弯曲度；

根据各个同一人体目标在其对应的各对目标拍摄图像中的右腿弯曲度和左腿弯曲度，确定各个同一人体目标在其对应的各对目标拍摄图像中的腿部弯曲度。

6.根据权利要求5所述的基于神经网络的行人翻越交通护栏的检测识别方法，其特征在于，确定各个同一人体目标在其对应的各对目标拍摄图像中的右腿弯曲度和左腿弯曲度对应的计算公式为：其中， 为各个同一人体目标在其对应的各对目标拍摄图像中的右腿弯曲度，为各个同一人体目标在其对应的各对目标拍摄图像中的右腿身体主干向量， 为各个同一人体目标在其对应的各对目标拍摄图像中的右大腿向量， 为 和之间的夹角， 为各个同一人体目标在其对应的各对目标拍摄图像中的左腿弯曲度， 为各个同一人体目标在其对应的各对目标拍摄图像中的左腿身体主干向量，为各个同一人体目标在其对应的各对目标拍摄图像中的左大腿向量，为 和 之间的夹角。

7.根据权利要求5所述的基于神经网络的行人翻越交通护栏的检测识别方法，其特征在于，确定各个同一人体目标在其对应的各对目标拍摄图像中的人体护栏距离值和腿部弯曲度，还包括：根据各个同一人体目标在其对应的各对目标拍摄图像中的护栏区域信息，确定各个同一人体目标在其对应的各对目标拍摄图像中的护栏下边缘曲线和护栏上边缘曲线；

根据各个同一人体目标在其对应的各对目标拍摄图像中的各个关节点中的右脚关节点和左脚关节点的位置坐标以及护栏下边缘曲线，确定各个同一人体目标在其对应的各对目标拍摄图像中的足部护栏距离值；

根据各个同一人体目标在其对应的各对目标拍摄图像中的各个关节点的位置坐标，确定各个同一人体目标在其对应的各对目标拍摄图像中的身体重心位置坐标；

根据各个同一人体目标在其对应的各对目标拍摄图像中的身体重心位置坐标以及护栏上边缘曲线，确定各个同一人体目标在其对应的各对目标拍摄图像中的身体重心护栏距离值；

根据各个同一人体目标在其对应的各对目标拍摄图像中的足部护栏距离值和身体重心护栏距离值，确定各个同一人体目标在其对应的各对目标拍摄图像中的人体护栏距离值。

8.根据权利要求1所述的基于神经网络的行人翻越交通护栏的检测识别方法，其特征在于，确定各个同一人体目标在其对应的各对目标拍摄图像中的各个关节点的更新向量串对应的计算公式为：其中， 为每个同一人体目标在其对应的第n帧目标拍摄图像中的第i个关节点的更新向量串， 为每个同一人体目标在其对应的第n帧目标拍摄图像中的第i个关节点的向量串， 为每个同一人体目标在其对应的第n帧目标拍摄图像中的第i个关节点的第j个邻域关节点的注意力权重， 为每个同一人体目标在其对应的第n帧目标拍摄图像中的第i个关节点的第j个邻域关节点的向量串。

9.根据权利要求1所述的基于神经网络的行人翻越交通护栏的检测识别方法，其特征在于，进而确定各个同一人体目标对应的片段向量，包括：根据各个同一人体目标在其对应的各对目标拍摄图像中的各个关节点的更新向量串，按照设定关节点顺序对目标拍摄图像中的各个关节点的更新向量串进行拼接，从而得到各个同一人体目标在其对应的各对目标拍摄图像的拼接字符串；

根据各个同一人体目标在其对应的各对目标拍摄图像的拼接字符串，按照各个同一人体目标在其对应的各对目标拍摄图像的拍摄时间顺序，对各个同一人体目标在其对应的各对目标拍摄图像的拼接字符串进行拼接，从而得到各个同一人体目标对应的初始的片段向量；

对各个同一人体目标对应的初始的片段向量进行固定尺度扩展，从而得到各个同一人体目标对应的最终的片段向量。

说明书

一种基于神经网络的行人翻越交通护栏的检测识别方法

技术领域

[0001] 本发明涉及数据识别技术领域，具体涉及一种基于神经网络的行人翻越交通护栏的检测识别方法。

背景技术

[0002] 行人翻越交通护栏是一种十分危险的行为，给行人的生命安全和交通安全带来了巨大的隐患。然而，对这一行为的监管比较困难，尤其是高速公路上等难以监管的区域。因此，在交通公路上，对行人翻越交通护栏的违规行为进行检测就显得十分必要。

[0003] 在现有的行人翻越交通护栏检测中，主要分为人工检测和图像检测两大类。其中人工检测是指对特定路段进行人工巡逻检测，但是这种检测方式需要花费较大人工成本，不能适用于所有的交通路段。随着图像数据识别技术的发展，图像检测逐渐成为行人翻越交通护栏检测的侧重手段。在现有的行人翻越交通护栏图像检测中，通常都是根据行人与护栏的位置关系，来判定行人是否在翻越护栏，这就导致容易导致检测结果出现错误的情况。例如，当道路维护工人需要沿着护栏行走时，此时就会导致检测结果发生错误。

发明内容

[0004] 本发明的目的在于提供一种基于神经网络的行人翻越交通护栏的检测识别方法，用于解决现有的行人翻越交通护栏检测准确性较差的问题。

[0005] 为解决上述技术问题，本发明提供了一种基于神经网络的行人翻越交通护栏的检测识别方法，包括以下步骤：

[0006] 步骤S1：获取待监测护栏段的当前各个设定时刻对应的各对拍摄图像，所述拍摄图像包括第一侧拍摄图像和第二侧拍摄图像；

[0007] 步骤S2：对各对拍摄图像进行人体目标识别，若识别到人体目标，则确定各个同一人体目标对应的各对目标拍摄图像，所述目标拍摄图像包括目标第一侧拍摄图像和目标第二侧拍摄图像；

[0008] 步骤S3：对各对目标拍摄图像中的对应人体目标的关节点进行识别，从而确定各个同一人体目标在其对应的各对目标拍摄图像中的各个关节点、各个关节点的向量串和各个关节点的邻域关节点；

[0009] 步骤S4：对各对目标拍摄图像中的护栏进行识别，从而确定各对目标拍摄图像中的护栏区域信息；

[0010] 步骤S5：根据各个同一人体目标在其对应的各对目标拍摄图像中的各个关节点和护栏区域信息，确定各个同一人体目标在其对应的各对目标拍摄图像中的人体护栏距离值和腿部弯曲度；

[0011] 步骤S6：根据各个同一人体目标在其对应的各对目标拍摄图像中的各个关节点的向量串、邻域关节点的向量串、人体护栏距离值和腿部弯曲度，确定各个同一人体目标在其对应的各对目标拍摄图像中的各个关节点的邻域关节点的注意力权重；

[0012] 步骤S7：根据各个同一人体目标在其对应的各对目标拍摄图像中的各个关节点的向量串以及邻域关节点的注意力权重，确定各个同一人体目标在其对应的各对目标拍摄图像中的各个关节点的更新向量串，进而确定各个同一人体目标对应的片段向量；

[0013] 步骤S8：将各个同一人体目标对应的片段向量分别输入到预先获取的行人翻越交通护栏识别网络中，从而得到各个同一人体目标的动作识别结果。

[0014] 进一步的，从而确定各个同一人体目标在其对应的各对目标拍摄图像中的各个关节点和各个关节点的向量串，包括：

[0015] 对各对目标拍摄图像中的对应人体目标的关节点进行识别，从而得到各个同一人体目标在其对应的各对目标拍摄图像中的各个关节点、各个关节点的特征向量和前后类别；

[0016] 根据各个同一人体目标在其对应的各对目标拍摄图像中的各个关节点的部位种类和前后类型，对各个关节点进行编码，从而得到各个同一人体目标在其对应的各对目标拍摄图像中的各个关节点的部位编码；

[0017] 根据各个同一人体目标在其对应的各对目标拍摄图像中的各个关节点的位置坐标、特征向量和部位编码，构造各个同一人体目标在其对应的各对目标拍摄图像中的各个关节点的向量串。

[0018] 进一步的，从而确定各个同一人体目标在其对应的各对目标拍摄图像中的各个关节点的邻域关节点，还包括：

[0019] 根据各个同一人体目标在其对应的各对目标拍摄图像中的各个关节点的位置坐标，构造各个同一人体目标在其对应的各对目标第一侧拍摄图像和目标第二侧拍摄图像中的骨架图；

[0020] 根据各个同一人体目标在其对应的各对目标第一侧拍摄图像和目标第二侧拍摄图像中的骨架图，确定各个同一人体目标在其对应的各对目标第一侧拍摄图像和目标第二侧拍摄图像中的每个关节点的与其相连接的关节点；

[0021] 确定各个同一人体目标在其对应的每帧目标第一侧拍摄图像中的每个关节点的邻域关节点，所述邻域关节点包括：该关节点的与其相连的关节点、该关节点所在的目标第一侧拍摄图像对应的目标第二侧拍摄图像中的同部位的关节点，该关节点所在的目标第一侧拍摄图像的相邻目标第一侧拍摄图像中的同部位的关节点、该关节点所在的目标第一侧拍摄图像对应的目标第二侧拍摄图像的相邻目标第二侧拍摄图像中的同部位的关节点；

[0022] 确定各个同一人体目标在其对应的每帧目标第二侧拍摄图像中的每个关节点的邻域关节点，所述邻域关节点包括：该关节点的与其相连的关节点、该关节点所在的目标第二侧拍摄图像对应的目标第一侧拍摄图像中的同部位的关节点，该关节点所在的目标第二侧拍摄图像的相邻目标第二侧拍摄图像中的同部位的关节点、该关节点所在的目标第二侧拍摄图像对应的目标第一侧拍摄图像的相邻目标第一侧拍摄图像中的同部位的关节点。

[0023] 进一步的，各个同一人体目标在其对应的各对目标拍摄图像中的各个关节点包括：鼻子关节点、脖子关节点、右肩膀关节点、右手肘关节点、右手手腕关节点、左肩膀关节点、左手肘关节点、左手手腕关节点、右胯关节点、右膝关节点、右脚关节点、左胯关节点、左膝关节点和左脚关节点。

[0024] 进一步的，确定各个同一人体目标在其对应的各对目标拍摄图像中的人体护栏距离值和腿部弯曲度，包括：

[0025] 根据各个同一人体目标在其对应的各对目标拍摄图像中的各个关节点中的脖子关节点、右胯关节点、右膝关节点、左胯关节点和左膝关节点的位置坐标，确定各个同一人体目标在其对应的各对目标拍摄图像中的右腿身体主干向量、左腿身体主干向量、右大腿向量和左大腿向量；

[0026] 根据各个同一人体目标在其对应的各对目标拍摄图像中的右腿身体主干向量、左腿身体主干向量、右大腿向量和左大腿向量，确定各个同一人体目标在其对应的各对目标拍摄图像中的右腿弯曲度和左腿弯曲度；

[0027] 根据各个同一人体目标在其对应的各对目标拍摄图像中的右腿弯曲度和左腿弯曲度，确定各个同一人体目标在其对应的各对目标拍摄图像中的腿部弯曲度。

[0028] 进一步的，确定各个同一人体目标在其对应的各对目标拍摄图像中的右腿弯曲度和左腿弯曲度对应的计算公式为：

[0029]

[0030]

[0031] 其中， 为各个同一人体目标在其对应的各对目标拍摄图像中的右腿弯曲度，为各个同一人体目标在其对应的各对目标拍摄图像中的右腿身体主干向量， 为各个同一人体目标在其对应的各对目标拍摄图像中的右大腿向量， 为和 之间的夹角， 为各个同一人体目标在其对应的各对目标拍摄图像中的左腿弯曲度， 为各个同一人体目标在其对应的各对目标拍摄图像中的左腿身体主干向量，为各个同一人体目标在其对应的各对目标拍摄图像中的左大腿向量，
为 和 之间的夹角。

[0032] 进一步的，确定各个同一人体目标在其对应的各对目标拍摄图像中的人体护栏距离值和腿部弯曲度，还包括：

[0033] 根据各个同一人体目标在其对应的各对目标拍摄图像中的护栏区域信息，确定各个同一人体目标在其对应的各对目标拍摄图像中的护栏下边缘曲线和护栏上边缘曲线；

[0034] 根据各个同一人体目标在其对应的各对目标拍摄图像中的各个关节点中的右脚关节点和左脚关节点的位置坐标以及护栏下边缘曲线，确定各个同一人体目标在其对应的各对目标拍摄图像中的足部护栏距离值；

[0035] 根据各个同一人体目标在其对应的各对目标拍摄图像中的各个关节点的位置坐标，确定各个同一人体目标在其对应的各对目标拍摄图像中的身体重心位置坐标；

[0036] 根据各个同一人体目标在其对应的各对目标拍摄图像中的身体重心位置坐标以及护栏上边缘曲线，确定各个同一人体目标在其对应的各对目标拍摄图像中的身体重心护栏距离值；

[0037] 根据各个同一人体目标在其对应的各对目标拍摄图像中的足部护栏距离值和身体重心护栏距离值，确定各个同一人体目标在其对应的各对目标拍摄图像中的人体护栏距离值。

[0038] 进一步的，确定各个同一人体目标在其对应的各对目标拍摄图像中的各个关节点的邻域关节点的注意力权重对应的计算公式为：

[0039]

[0040] 其中， 为每个同一人体目标在其对应的第n帧目标拍摄图像中的第i个关节点的第j个邻域关节点的注意力权重， 为每个同一人体目标在其对应的第n帧目标拍摄图像中的第i个关节点的向量串， 为每个同一人体目标在其对应的第n帧目标拍摄图像中的第i个关节点的第j个邻域关节点的向量串， 为共享线性变化矩阵， 为将和 拼接后得到向量， 为用于将 映射到一个实数上的单层前馈神经网络的权重向量， 为每个同一人体目标在其对应的第n帧目标拍摄图像中的腿部弯曲度，为每个同一人体目标在其对应的第n帧目标拍摄图像中的人体护栏距离值， 为激活函数，为每个同一人体目标在其对应的第n帧目标拍摄图像中的第i个关节点的邻域关节点的总数目。

[0041] 进一步的，确定各个同一人体目标在其对应的各对目标拍摄图像中的各个关节点的更新向量串对应的计算公式为：

[0042]

[0043] 其中， 为每个同一人体目标在其对应的第n帧目标拍摄图像中的第i个关节点的更新向量串， 为每个同一人体目标在其对应的第n帧目标拍摄图像中的第i个关节点的向量串， 为每个同一人体目标在其对应的第n帧目标拍摄图像中的第i个关节点的第j个邻域关节点的注意力权重， 为每个同一人体目标在其对应的第n帧目标拍摄图像中的第i个关节点的第j个邻域关节点的向量串。

[0044] 进一步的，进而确定各个同一人体目标对应的片段向量，包括：

[0045] 根据各个同一人体目标在其对应的各对目标拍摄图像中的各个关节点的更新向量串，按照设定关节点顺序对目标拍摄图像中的各个关节点的更新向量串进行拼接，从而得到各个同一人体目标在其对应的各对目标拍摄图像的拼接字符串；

[0046] 根据各个同一人体目标在其对应的各对目标拍摄图像的拼接字符串，按照各个同一人体目标在其对应的各对目标拍摄图像的拍摄时间顺序，对各个同一人体目标在其对应的各对目标拍摄图像的拼接字符串进行拼接，从而得到各个同一人体目标对应的初始的片段向量；

[0047] 对各个同一人体目标对应的初始的片段向量进行固定尺度扩展，从而得到各个同一人体目标对应的最终的片段向量。

[0048] 本发明具有如下有益效果：通过获取待监测护栏段的当前各个设定时刻对应的各对拍摄图像，对这些拍摄图像进行数据识别，从而确定各个同一人体目标在其对应的各对目标拍摄图像中的各个关节点、各个关节点的向量串和邻域关节点，再结合各对目标拍摄图像中的护栏区域信息，确定各个同一人体目标在其对应的各对目标拍摄图像中的各个关节点的邻域关节点的注意力权重。利用各个关节点的邻域关节点的向量串和注意力权重，对各个同一人体目标在其对应的各对目标拍摄图像中的各个关节点的向量串进行更新，进而确定各个同一人体目标对应的片段向量。将各个同一人体目标对应的片段向量分别输入到预先获取的行人翻越交通护栏识别网络中，从而得到各个同一人体目标的动作识别结果。由于本发明在确定各个同一人体目标在其对应的各对目标拍摄图像中的各个关节点的邻域关节点的注意力权重时，充分考虑了人体在翻越护栏时的腿部特征、人体与护栏的距离特征以及邻域关节点的向量串的变化特征，从而使得各个同一人体目标在其对应的各对目标拍摄图像中的各个关节点可以聚合到更加有用的关节点信息，进而在对各个同一人体目标在其对应的各对目标拍摄图像中的各个关节点的向量串进行更新时，重视与翻越护栏有关的关节点，忽视与翻越护栏弱关联性的关节点，最终使得各个同一人体目标对应的片段向量包含比较完整的信息，可以准确表征行人翻越护栏时的特征，从而有效提高了行人翻越护栏识别结果的准确性。

附图说明

[0049] 为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

[0050] 图1为本发明实施例的基于神经网络的行人翻越交通护栏的检测识别方法的流程图；

[0051] 图2为本发明实施例的两个监控摄像头大致的布置场景示意图；

[0052] 图3为本发明实施例的某个人体目标在目标第一侧拍摄图像中的骨架图；

[0053] 图4为本发明实施例的某个人体目标在目标第二侧拍摄图像中的骨架图；

[0054] 图5为本发明实施例的基于神经网络的行人翻越交通护栏的检测识别方法的步骤3的具体实现过程的流程图。

具体实施方式

[0055] 为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的技术方案的具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。

[0056] 除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。

[0057] 本实施例提供了一种基于神经网络的行人翻越交通护栏的检测识别方法，该方法对应的流程图如图1所示，包括以下步骤：

[0058] 步骤S1：获取待监测护栏段的当前各个设定时刻对应的各对拍摄图像，所述拍摄图像包括第一侧拍摄图像和第二侧拍摄图像。

[0059] 鉴于行人正面的特征和背面的特征是不一样的，而且行人翻越护栏的动作多种多样，大多数在护栏翻越过程中，会在同一个摄像画面中改变身体的朝向，因此在待监测护栏段的道路两侧都安装监控摄像头，两个监控摄像头都朝向道路中心的护栏段，且使画面中重叠的部分尽可能地多，即两个监控摄像头的连线尽量垂直于道路的走势线。如此布置两个监控摄像头是为了同时能拍摄到行人的正面和背面，便于后续识别，两个监控摄像头大致的布置场景如图2所示。在图2中，行人正在准备翻越护栏，两个监控摄像头拍摄到的画面是不同的，各自有着对应的成像平面。

[0060] 在工作过程中，两个监控摄像头同步拍摄，每次拍摄对应一个设定时刻，那么在每一个设定时刻可以对应得到一对拍摄图像，每对拍摄图像包括第一侧拍摄图像和第二侧拍摄图像。在本实施例中，设定两个监控摄像头均一秒钟拍摄30张图像，考虑到行人翻越护栏大概需要2秒的时间，因此获取当前时刻的过去60个设定时刻对应的60对拍摄图像，以便于后续基于这60对拍摄图像，进行行人翻越交通护栏检测。

[0061] 另外，需要指出了的是，为了便于后续对每对拍摄图像中的第一侧拍摄图像和第二侧拍摄图像进行数据识别具有相同的标准，利用相机标定技术对两个监控摄像头进行相机标定。即在两个监控摄像头的两个成像平面中构建两个二维坐标系，通过相机标定技术得到两个画面中的图像中心标定点，使得真实场景中的同一点在两个相机中的坐标是一样的。由于相机标定技术的具体实现过程属于现有技术，此处不再赘述。

[0062] 步骤S2：对各对拍摄图像进行人体目标识别，若识别到人体目标，则确定各个同一人体目标对应的各对目标拍摄图像，所述目标拍摄图像包括目标第一侧拍摄图像和目标第二侧拍摄图像。

[0063] 在通过上述步骤S1得到各对拍摄图像之后，为了减小数据计算量，首先对各对拍摄图像中的画面进行ROI区域（感兴趣区域）的划分，从而得到各对拍摄图像对应的ROI区域，并以该ROI区域作为后续拍摄图像的数据分析区域。在本实施例中，拍摄图像对应的ROI区域是指该拍摄图像中的护栏的两侧各2米宽度的带状区域，当人体出现在该带状区域中时，说明有人靠近护栏，才可能会出现翻越护栏的行为。

[0064] 针对各对拍摄图像，即各对拍摄图像中的ROI区域，采用图像分割技术进行人体目标识别，若在所有拍摄图像中均不能够识别到人体目标，则说明此时不存在翻越护栏的行为，若能够识别到人体目标，则说明此时可能存在翻越护栏的行为，此时针对每一个人体目标，获取该人体目标对应的各对目标拍摄图像，这里的各对目标拍摄图像是指ROI区域同时存在该人体目标的各对拍摄图像，每对目标拍摄图像包括目标第一侧拍摄图像和目标第二侧拍摄图像，目标第一侧拍摄图像和目标第二侧拍摄图像中会同时存在该人体目标。

[0065] 步骤S3：对各对目标拍摄图像中的对应人体目标的关节点进行识别，从而确定各个同一人体目标在其对应的各对目标拍摄图像中的各个关节点、各个关节点的向量串和各个关节点的邻域关节点，具体实现过程如图5所示，包括：

[0066] 步骤S31：对各对目标拍摄图像中的对应人体目标的关节点进行识别，从而得到各个同一人体目标在其对应的各对目标拍摄图像中的各个关节点、各个关节点的特征向量以及前后类别。

[0067] 对于每个人体目标，在该人体目标对应的各对目标拍摄图像中，对该人体目标的关节点进行识别，从而得到该人体目标在其对应的各对目标拍摄图像中的各个关节点。在本实施例中，是采用现有技术中的OpenPose模型，对该人体目标在其对应的各对目标拍摄图像中的各个关节点进行识别，从而在每对目标拍摄图像中的目标第一侧拍摄图像和目标第二侧拍摄图像中均可以得到14个关节点，这14个关节点分别为：鼻子关节点 、脖子关节点 、右肩膀关节点 、右手肘关节点 、右手手腕关节点 、左肩膀关节点 、左手肘关节点 、左手手腕关节点 、右胯关节点 、右膝关节点 、右脚关节点 、左胯关节点 、左膝关节点 、左脚关节点 。

[0068] 对于同一个人体目标在其对应的每对目标拍摄图像中的目标第一侧拍摄图像和目标第二侧拍摄图像中，以图像中心标定点为二维坐标系的原点，从而可以确定在图像中的每个关节点在二维坐标系中的横纵坐标，从而可以得到每个关节点的坐标向量。

[0069] 需要说明的是，本实施例在对各对目标拍摄图像中的对应人体目标的关节点进行识别时，不仅能够识别出各个关节点，并且能够区分当前目标拍摄图像中的人体朝向，即确定人体是前面还是后面，从而可以确定各个关节点是人体前面的关节点还是人体后面的关节点，即确定各个关节点的前后类型。

[0070] 另外，本实施例在对各对目标拍摄图像中的对应人体目标的关节点进行识别时，OpenPose模型使用VGG16网络框架，其骨干网络和分类器之间的信息形式为每个像素点的特征向量，通过截取分类器的输入，从而可以得到每个关节点在图像ROI区域的特征向量，所有关节点的特征向量具有相同的向量长度，设向量长度为lf。由于获取每个关节点在图像ROI区域的特征向量 的过程属于现有技术，此处不再赘述其具体实现步骤。

[0071] 在对各对目标拍摄图像中的对应人体目标的关节点进行识别时，当有某个关节点被遮挡或者由于行人身体面向摄像头的角度过于特殊导致没有识别出来时，则无法获取该关节点的具体坐标向量和特征向量。此时令没有识别到的关节点的特征向量和坐标向量中的所有元素数值等于标记符 ，以此标记该关节点未能识别到，让后续的行人翻越交通护栏识别网络感知到这一信息。

[0072] 步骤S32：根据各个同一人体目标在其对应的各对目标拍摄图像中的各个关节点的部位种类和前后类型，对各个关节点进行编码，从而得到各个同一人体目标在其对应的各对目标拍摄图像中的各个关节点的部位编码。

[0073] 对于每个人体目标，根据该人体目标在其对应的各对目标拍摄图像中的各个关节点的部位种类和前后类型，对各个关节点进行One‑Hot编码，标注其身体部位信息，不同部位种类的关节点由不同部位的字符表示，不同的人体朝向，使用不同的标注。例如正面的鼻子 的部位编码为 ，左脚 的部位编码为 ，编码长度为14；背面的鼻子 的部位编码为 ，左脚 的部位编码为 ，编码长度也为14。通
过这种方式对各个关节点进行编码，方便后续的行人翻越交通护栏识别网络在聚合过程中可以精确确定是哪一个部位、哪一个面的关节点。

[0074] 步骤S33：根据各个同一人体目标在其对应的各对目标拍摄图像中的各个关节点的位置坐标、特征向量和部位编码，构造各个同一人体目标在其对应的各对目标拍摄图像中的各个关节点的向量串。

[0075] 对于每个人体目标，该人体目标在其对应的各对目标拍摄图像中的每个关节点均有三个指标：位置坐标、特征向量和部位编码，对这三个指标进行拼接，从可以得到一个向量串。记第i个关节点 的坐标向量为 ，特征向量为 ，部位向量为 ，则该第i个关节点 的向量串为 ，向量串的长度为 。

[0076] 步骤S34：根据各个同一人体目标在其对应的各对目标拍摄图像中的各个关节点的位置坐标，构造各个同一人体目标在其对应的各对目标第一侧拍摄图像和目标第二侧拍摄图像中的骨架图。

[0077] 对于每个人体目标，根据该人体目标在其对应的各对目标拍摄图像中目标第一侧拍摄图像和目标第二侧拍摄图像中各个关节点的位置坐标，构造在目标第一侧拍摄图像和目标第二侧拍摄图像中的骨架图。图3给出了某个人体目标在目标第一侧拍摄图像中的骨架图，图4给出了某个人体目标在目标第二侧拍摄图像中的骨架图。

[0078] 步骤S35：根据各个同一人体目标在其对应的各对目标第一侧拍摄图像和目标第二侧拍摄图像中的骨架图，确定各个同一人体目标在其对应的各对目标第一侧拍摄图像和目标第二侧拍摄图像中的每个关节点的与其相连接的关节点。

[0079] 对于每个人体目标，根据该人体目标在其对应的各对目标拍摄图像中目标第一侧拍摄图像和目标第二侧拍摄图像中的骨架图，可以确定骨架图中每个关节点的相连接的关节点。如图3所示，关节点P9的相连接的关节点为关节点P2和P10。

[0080] 步骤S36：确定各个同一人体目标在其对应的每帧目标第一侧拍摄图像中的每个关节点的邻域关节点，所述邻域关节点包括：该关节点的与其相连的关节点、该关节点所在的目标第一侧拍摄图像对应的目标第二侧拍摄图像中的同部位的关节点，该关节点所在的目标第一侧拍摄图像的相邻目标第一侧拍摄图像中的同部位的关节点、该关节点所在的目标第一侧拍摄图像对应的目标第二侧拍摄图像的相邻目标第二侧拍摄图像中的同部位的关节点。确定各个同一人体目标在其对应的每帧目标第二侧拍摄图像中的每个关节点的邻域关节点，所述邻域关节点包括：该关节点的与其相连的关节点、该关节点所在的目标第二侧拍摄图像对应的目标第一侧拍摄图像中的同部位的关节点，该关节点所在的目标第二侧拍摄图像的相邻目标第二侧拍摄图像中的同部位的关节点、该关节点所在的目标第二侧拍摄图像对应的目标第一侧拍摄图像的相邻目标第一侧拍摄图像中的同部位的关节点。

[0081] 在上述步骤S35的基础上，对于每个人体目标在其对应的各对目标拍摄图像中目标第一侧拍摄图像中的任意一个关节点，记该关节点为 ，将与该关节点 相连接的关节点、与该关节点 同一部位的目标第二侧拍摄图像中的关节点、上一帧目标第一侧拍摄图像中的同一部位的关节点、上一帧目标第二侧拍摄图像中的同一部位的关节点、下一帧目标第一侧拍摄图像中的同一部位的关节点、下一帧目标第二侧拍摄图像中的同一部位的关节点，作为该关节点 的邻域关节点。按照同样的方式，对于每个人体目标在其对应的各对目标拍摄图像中目标第二侧拍摄图像中的任意一个关节点，记该关节点为 ，将与该关节点 相连接的关节点、与该关节点 同一部位的目标第一侧拍摄图像中的关节点、上一帧目标第二侧拍摄图像中的同一部位的关节点、上一帧目标第一侧拍摄图像中的同一部位的关节点、下一帧目标第二侧拍摄图像中的同一部位的关节点、下一帧目标第一侧拍摄图像中的同一部位的关节点，作为该关节点 的邻域关节点。

[0082] 对于每个人体目标在其对应的各对目标拍摄图像中的任意一个关节点，该关节点的邻域关节点包括两侧拍摄图像中的关节点，以此便于判断是否发生行人背对的情况。

[0083] 步骤S4：对各对目标拍摄图像中的护栏进行识别，从而确定各对目标拍摄图像中的护栏区域信息。

[0084] 对于每对目标拍摄图像中的目标第一侧拍摄图像和目标第二侧拍摄图像中的护栏进行识别，从而可以得到图像中的护栏区域，由于获取护栏区域的具体实现过程属于现有技术，此处不再赘述。

[0085] 步骤S5：根据各个同一人体目标在其对应的各对目标拍摄图像中的各个关节点和护栏区域信息，确定各个同一人体目标在其对应的各对目标拍摄图像中的人体护栏距离值和腿部弯曲度。

[0086] 考虑到行人在翻越护栏时，存在行人与护栏的交互行为，通过对这一交互行为进行分析，确定各个同一人体目标在其对应的各对目标拍摄图像中的人体护栏距离值和腿部弯曲度，以便于后续提高翻越护栏识别的准确性，具体实现过程如下：

[0087] 步骤S51：根据各个同一人体目标在其对应的各对目标拍摄图像中的各个关节点中的脖子关节点、右胯关节点、右膝关节点、左胯关节点和左膝关节点的位置坐标，确定各个同一人体目标在其对应的各对目标拍摄图像中的右腿身体主干向量、左腿身体主干向量、右大腿向量和左大腿向量。

[0088] 考虑到行人的腿部与身体主干的夹角是一个重要的特征，翻越护栏的动作必定需要做出抬腿的动作，因此根据各个同一人体目标在其对应的各对目标拍摄图像中的脖子关节点 、右胯关节点 、右膝关节点 、左胯关节点 和左膝关节点 的位置坐标，构建连接右腿身体主干向量 ，连接左腿身体主干向量 ，连接右大腿向量 ，连接左大腿向量 。

[0089] 步骤S52：根据各个同一人体目标在其对应的各对目标拍摄图像中的右腿身体主干向量、左腿身体主干向量、右大腿向量和左大腿向量，确定各个同一人体目标在其对应的各对目标拍摄图像中的右腿弯曲度和左腿弯曲度，对应的计算公式为：

[0090]

[0091]

[0092] 其中， 为各个同一人体目标在其对应的各对目标拍摄图像中的右腿弯曲度，为各个同一人体目标在其对应的各对目标拍摄图像中的右腿身体主干向量， 为各个同一人体目标在其对应的各对目标拍摄图像中的右大腿向量， 为和 之间的夹角， 为各个同一人体目标在其对应的各对目标拍摄图像中的左腿弯曲度， 为各个同一人体目标在其对应的各对目标拍摄图像中的左腿身体主干向量，为各个同一人体目标在其对应的各对目标拍摄图像中的左大腿向量，
为 和 之间的夹角。

[0093] 根据上述的右腿弯曲度 和左腿弯曲度 的计算公式可知，当行人的右大腿抬的越高时， 越大，当行人的左大腿抬的越高， 越大，此时说明行人此时约有可能在翻越护栏。

[0094] 步骤S53：根据各个同一人体目标在其对应的各对目标拍摄图像中的右腿弯曲度和左腿弯曲度，确定各个同一人体目标在其对应的各对目标拍摄图像中的腿部弯曲度。

[0095] 由于行人在翻越护栏时，可能是右大腿抬高也可能是左腿抬高，因此根据同一人体目标在其对应的每对目标拍摄图像中的目标第一侧拍摄图像和目标第二侧拍摄图像中的右腿弯曲度和左腿弯曲度，选取二者中的最大值作为对应目标第一侧拍摄图像和目标第二侧拍摄图像中的腿部弯曲度。

[0096] 步骤S54：根据各个同一人体目标在其对应的各对目标拍摄图像中的护栏区域信息，确定各个同一人体目标在其对应的各对目标拍摄图像中的护栏下边缘曲线和护栏上边缘曲线。

[0097] 根据每对目标拍摄图像中的目标第一侧拍摄图像和目标第二侧拍摄图像中的护栏区域信息，可以确定目标第一侧拍摄图像和目标第二侧拍摄图像中的护栏上边界曲线和护栏下边界曲线，记护栏上边界曲线对应的方程为 ，护栏下边界曲线对应的方程为 。

[0098] 步骤S55：根据各个同一人体目标在其对应的各对目标拍摄图像中的各个关节点中的右脚关节点和左脚关节点的位置坐标以及护栏下边缘曲线，确定各个同一人体目标在其对应的各对目标拍摄图像中的足部护栏距离值。

[0099] 对于同一人体目标，根据该同一人体目标在其对应的每对目标拍摄图像中的目标第一侧拍摄图像和目标第二侧拍摄图像中的右脚关节点 和左脚关节点 的位置坐标以及护栏下边缘曲线 ，设护栏下边缘曲线上一点 ，使 正交于该护栏下边缘曲线 ，此时 的长度即为右脚关节点 到该护栏下边缘曲线的距离。按照同样的方式，确定左脚关节点 到该护栏下边缘曲线的距离 。选取距离 和二者中的最小值，并将该最小值作为对应目标第一侧拍摄图像和目标第二侧拍摄图像中的足部护栏距离值C。

[0100] 当人体足部关节点越接近护栏下边缘时，则说明行人越有可能在护栏的上面，正在进行翻越的行为，此时足部护栏距离值C就越小。

[0101] 步骤S56：根据各个同一人体目标在其对应的各对目标拍摄图像中的各个关节点的位置坐标，确定各个同一人体目标在其对应的各对目标拍摄图像中的身体重心位置坐标。

[0102] 由于足部护栏距离值 只能反应人体在水平方向上距离护栏的距离，无法反应行人在竖直方向上的翻越动作疑似度，因此还需要确定行人身体重心与护栏的距离。

[0103] 为了确定行人身体重心与护栏的距离，对于同一人体目标在其对应的每对目标拍摄图像中的28个关节点的位置坐标求平均值，从而得到对应每对目标拍摄图像中的身体重心位置坐标，每对目标拍摄图像中的目标第一侧拍摄图像和目标第二侧拍摄图像共用同一身体重心位置坐标。

[0104] 步骤S57：根据各个同一人体目标在其对应的各对目标拍摄图像中的身体重心位置坐标以及护栏上边缘曲线，确定各个同一人体目标在其对应的各对目标拍摄图像中的身体重心护栏距离值。

[0105] 根据同一人体目标在其对应的每对目标拍摄图像中目标第一侧拍摄图像和目标第二侧拍摄图像中的身体重心位置坐标，结合该目标第一侧拍摄图像和目标第二侧拍摄图像中的护栏上边缘曲线，确定身体重心到其对应的护栏上边缘曲线的距离，从而得到该目标第一侧拍摄图像和目标第二侧拍摄图像中的身体重心护栏距离值H。

[0106] 当体重心越接近护栏上边缘时，则说明行人越有可能在护栏的上面，正在进行翻越的行为，此时身体重心护栏距离值H就越小。

[0107] 步骤S58：根据各个同一人体目标在其对应的各对目标拍摄图像中的足部护栏距离值和身体重心护栏距离值，确定各个同一人体目标在其对应的各对目标拍摄图像中的人体护栏距离值。

[0108] 根据同一人体目标在其对应的每对目标拍摄图像中目标第一侧拍摄图像和目标第二侧拍摄图像中的足部护栏距离值C和身体重心护栏距离值H，确定该人体目标在其对应的每对目标拍摄图像中目标第一侧拍摄图像和目标第二侧拍摄图像中的人体护栏距离值，其中 为第一权重值， 为第二权重值， 和 可以根据足部护栏距离值C和身体重心护栏距离值H对人体护栏距离值 的影响程度来确定，实施者可以根据经验或者实验进行设定，本实施例设置 。

[0109] 步骤S6：根据各个同一人体目标在其对应的各对目标拍摄图像中的各个关节点的向量串、邻域关节点的向量串、人体护栏距离值和腿部弯曲度，确定各个同一人体目标在其对应的各对目标拍摄图像中的各个关节点的邻域关节点的注意力权重。

[0110] 对于每个同一人体目标在其对应的每对目标拍摄图像中目标第一侧拍摄图像和目标第二侧拍摄图像中的任意一个关节点 ，求其邻域关节点 的注意力权重，对应的计算公式为：

[0111]

[0112] 其中， 为每个同一人体目标在其对应的第n帧目标拍摄图像中的第i个关节点的第j个邻域关节点的注意力权重， 为每个同一人体目标在其对应的第n帧目标拍摄图像中的第i个关节点的向量串， 为每个同一人体目标在其对应的第n帧目标拍摄图像中的第i个关节点的第j个邻域关节点的向量串， 为共享线性变化矩阵， 为将和 拼接后得到向量， 为用于将 映射到一个实数上的单层前馈神经网络的权重向量，T表示转置， 为每个同一人体目标在其对应的第n帧目标拍摄图像中的腿部弯曲度， 为每个同一人体目标在其对应的第n帧目标拍摄图像中的人体护栏距离值， 为激活函数，为每个同一人体目标在其对应的第n帧目标拍摄图像中的第i个关节点的邻域关节点的总数目。

[0113] 在上述的每个同一人体目标在其对应的第n帧目标拍摄图像中的第i个关节点的第j个邻域关节点的注意力权重 的计算公式中，共享线性变化矩阵 用于对大小为1行 列的 和 进行线性变换降维处理，大小为 行 列，共享线性变化矩阵 中元素的取值可由神经网络训练得到，其确定过程属于现有技术，此处不再赘述。
权重向量 用于将高维特征映射到一个实数上， 为注意力系数，表示了第j个关节点的特征对第i个关节点的特征的影响度，权重向量 的确定过程属于现有技术，此处不再赘述。激活函数 的负输入斜率 可以根据实际情况进行确定，本实施例设置。通过采用softmax函数对 进行归一化处理，便于注意力
权重易于在不同关节点之间进行比较。当注意力系数 越大时，说明第j个关节点对第i个关节点的影响程度越大，当腿部弯曲度 越大时，说明行人大腿抬的越高，越有可能是在准备翻越护栏，当人体护栏距离值 越小时，说明行人距离护栏越近，越有可能在进行翻越动作，说明此时需要基于较高的注意力权重，以便聚合到有用的关节点信息。

[0114] 步骤S7：根据各个同一人体目标在其对应的各对目标拍摄图像中的各个关节点的向量串以及邻域关节点的注意力权重，确定各个同一人体目标在其对应的各对目标拍摄图像中的各个关节点的更新向量串，进而确定各个同一人体目标对应的片段向量。

[0115] 对于每个同一人体目标在其对应的每对目标拍摄图像中目标第一侧拍摄图像和目标第二侧拍摄图像中的任意一个关节点 ，根据其所有邻域关节点的注意力权重，对该任意一个关节点 的向量串进行更新，对应的计算公式为：

[0116]

[0117] 其中， 为每个同一人体目标在其对应的第n帧目标拍摄图像中的第i个关节点的更新向量串， 为每个同一人体目标在其对应的第n帧目标拍摄图像中的第i个关节点的向量串， 为每个同一人体目标在其对应的第n帧目标拍摄图像中的第i个关节点的第j个邻域关节点的注意力权重， 为每个同一人体目标在其对应的第n帧目标拍摄图像中的第i个关节点的第j个邻域关节点的向量串。

[0118] 通过对每个同一人体目标在其对应的每对目标拍摄图像中目标第一侧拍摄图像和目标第二侧拍摄图像中的任意一个关节点的向量串进行更新，可以使该任意一个关节点感知其邻域中其他关节点的向量串，可以减少关节点数值的组合数量，重视与翻越护栏有关的关节点，忽视与翻越护栏弱关联性的关节点，起到了滤波器的作用。

[0119] 根据各个同一人体目标在其对应的每对目标拍摄图像中目标第一侧拍摄图像和目标第二侧拍摄图像中的各个关节点的更新后的向量串，对向量串进行拼接，从而可以得到各个同一人体目标对应的片段向量，具体实现过程包括：

[0120] 步骤S71：根据各个同一人体目标在其对应的各对目标拍摄图像中的各个关节点的更新向量串，按照设定关节点顺序对目标拍摄图像中的各个关节点的更新向量串进行拼接，从而得到各个同一人体目标在其对应的各对目标拍摄图像的拼接字符串。

[0121] 对于同一人体目标在其对应的每对目标拍摄图像中目标第一侧拍摄图像和目标第二侧拍摄图像中的各个关节点，将目标第一侧拍摄图像中的各个关节点的更新后的向量串，按照关节点的下标数字的顺序首尾拼接起来，从而得到第一拼接字符串，同样的，将目标第二侧拍摄图像中的各个关节点的更新后的向量串，按照关节点的下标数字的顺序首尾拼接起来，从而得到第二拼接字符串，然后将第二拼接字符串拼接到第一拼接字符串的后面，从而可以得到同一人体目标在其对应的每对目标拍摄图像的拼接字符串。

[0122] 步骤S72：根据各个同一人体目标在其对应的各对目标拍摄图像的拼接字符串，按照各个同一人体目标在其对应的各对目标拍摄图像的拍摄时间顺序，对各个同一人体目标在其对应的各对目标拍摄图像的拼接字符串进行拼接，从而得到各个同一人体目标对应的初始的片段向量。

[0123] 对于每个同一人体目标在其对应的各对目标拍摄图像，按照各对目标拍摄图像对应的设定时刻的时间先后顺序，将各对目标拍摄图像的拼接字符串首尾拼接起来，从而可以得到每个同一人体目标对应的初始的片段向量。

[0124] 步骤S73：对各个同一人体目标对应的初始的片段向量进行固定尺度扩展，从而得到各个同一人体目标对应的最终的片段向量。

[0125] 对于不同的人体目标，由于其对应的各对目标拍摄图像的数目不同，所得到的初始的片段向量的尺寸就不相同，此时为了得到固定尺寸的片段向量，以便于后续行人翻越交通护栏识别网络进行护栏翻越动作识别，对各个同一人体目标对应的初始的片段向量进行固定尺度扩展，从而可以得到个同一人体目标对应的最终的片段向量。在对各个同一人体目标对应的初始的片段向量进行固定尺度扩展时，在片段向量的前面或者后面添加标记符 ，以此标记未识别到人体目标，让后续行人翻越交通护栏识别网络感知到这一信息。

[0126] 步骤S8：将各个同一人体目标对应的片段向量分别输入到预先获取的行人翻越交通护栏识别网络中，从而得到各个同一人体目标的动作识别结果。

[0127] 在进行行人翻越交通护栏的检测识别之前，利用CG‑GAT(Climbing Guardrail Graph Attention )神经网络构建实质上是一种分类网络的行人翻越交通护栏识别网络，由于该构建的具体实现过程属于现有技术，此处不再赘述。在构建好行人翻越交通护栏识别网络之后，参考步骤S1获取多组历史拍摄图像，每组历史拍摄图像是由各个设定时刻对应的各对拍摄图像构成，在本实施例中，每组历史拍摄图像是由60个设定时刻对应的60对拍摄图像构成。然后参考步骤S2‑S7，获取这多组历史拍摄图像对应的各个同一人体目标对应的片段向量，并将这些片段向量作为行人翻越交通护栏识别网络的训练样本。然后采用人工的方式为每个训练样本对应的动作制定标签，标签类型包括正在翻越护栏，贴近护栏行走，触碰护栏，其他。利用训练样本对行人翻越交通护栏识别网络进行训练，从而得到最终训练好的行人翻越交通护栏识别网络。在对行人翻越交通护栏识别网络进行训练时，所使用的损失函数为交叉熵损失函数，优化算法为Adam(Adaptive Moment Estimation)算法。

[0128] 在得到最终训练好的行人翻越交通护栏识别网络之后，在进行行人翻越交通护栏的检测识别时，对于每个人体目标，将该人体目标对应的片段向量分别输入到该行人翻越交通护栏识别网络中，由该行人翻越交通护栏识别网络输出每个人体目标对应的动作识别结果，该识别结果为在翻越护栏，贴近护栏行走，触碰护栏或其他。当识别出有一个人体目标对应的动作识别结果为翻越护栏时，则进行报警。

[0129] 本发明通过获取待监测护栏段的当前各个设定时刻对应的各对拍摄图像，对这些拍摄图像进行数据识别，从而确定各个同一人体目标在其对应的各对目标拍摄图像中的各个关节点、各个关节点的向量串和邻域关节点，再结合各对目标拍摄图像中的护栏区域信息，确定各个同一人体目标在其对应的各对目标拍摄图像中的各个关节点的邻域关节点的注意力权重。利用各个关节点的邻域关节点的向量串和注意力权重，对各个同一人体目标在其对应的各对目标拍摄图像中的各个关节点的向量串进行更新，进而确定各个同一人体目标对应的片段向量。将各个同一人体目标对应的片段向量分别输入到预先获取的行人翻越交通护栏识别网络中，从而得到各个同一人体目标的动作识别结果。由于本发明在确定各个同一人体目标在其对应的各对目标拍摄图像中的各个关节点的邻域关节点的注意力权重时，充分考虑了人体在翻越护栏时的腿部特征、人体与护栏的距离特征以及邻域关节点的向量串的变化特征，从而使得各个同一人体目标在其对应的各对目标拍摄图像中的各个关节点可以聚合到更加有用的关节点信息，进而在对各个同一人体目标在其对应的各对目标拍摄图像中的各个关节点的向量串进行更新时，重视与翻越护栏有关的关节点，忽视与翻越护栏弱关联性的关节点，最终使得各个同一人体目标对应的片段向量包含比较完整的信息，可以准确表征行人翻越护栏时的特征，可以防止将贴近护栏行走、触碰护栏误识别为翻越动作，从而有效提高了行人翻越护栏识别结果的准确性。

[0130] 需要说明的是：以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。