本发明涉及图像数据处理技术领域，具体为一种人行横道信号灯的控制方法、系统、设备和存储介质，该控制方法将人行横道图像进行语义特征提取和特征融合，得到的融合特征图经检测框预测和分类后，根据交并比值和分类概率进行检测框筛选，留下可靠性强的检测框用于统计斑马线区域行人数和等待区域行人数，最后根据斑马线区域行人数和等待区域行人数，灵活控制人行横道信号灯显示情况，可合理安排行人过街道，避免交通安全事故的发生。
1.一种人行横道信号灯的控制方法，其特征在于，包括如下操作：
S1、获取人行横道图像，所述人行横道图像经卷积处理，得到第一特征图；所述人行横道图像依次经第一语义特征提取和第二语义特征提取，得到第二特征图；所述第一特征图和第二特征图经特征融合处理，得到融合特征图；
S2、所述融合特征图经检测框预测处理和分类处理，得到感兴趣区域检测框集；所述得到感兴趣区域检测框集的操作具体为：所述融合特征图经边界框回归处理，得到由每个感兴趣区域内多个检测框形成的检测框集；所述检测框集中，每个检测框经特征提取后，与标准数据库进行匹配，得到的匹配度最大值与对应类别，分别作为对应检测框的分类概率值和分类结果；每个检测框，以及对应分类概率值和分类结果，形成了所述感兴趣区域检测框集；
获取所述感兴趣区域检测框集中，同一感兴趣区域内，与真实框的交并比值大于第一阈值的对应预测框，得到感兴趣区域优化检测框集；
获取所述感兴趣区域优化检测框集中，同一感兴趣区域内，分类概率最大值对应的检测框，得到感兴趣区域分类框集；
S3、获取所述感兴趣区域分类框集中，分类结果为行人的检测框，得到行人检测框集；
所述行人检测框集经位置特征匹配处理，得到斑马线区域行人数和等待区域行人数；
S4、基于所述斑马线区域行人数和等待区域行人数，得到人行横道信号灯结果；具体为：当所述斑马线区域行人数不为0时，所述人行横道信号灯结果为通行；当所述斑马线区域行人数为0时，等待区域行人数超过第二阈值，或等待区域行人数对应的等待时间超过第三阈值，所述人行横道信号灯结果为通行。
2.根据权利要求1所述的人行横道信号灯的控制方法，其特征在于，所述S1中第一语义特征提取的操作具体为：所述人行横道图像依次经特征卷积和局部特征聚合，得到的局部聚合特征图，用于执行所述第二语义特征提取的操作；
所述局部特征聚合的操作具体为：将经特征卷积处理过的卷积输入，进行多次特征卷积处理后，得到卷积聚合图；所述卷积聚合图与卷积输入经特征融合处理，得到所述局部聚合特征图。
3.根据权利要求2所述的人行横道信号灯的控制方法，其特征在于，所述第二语义特征提取的操作具体为：所述局部聚合特征图经卷积处理，得到优化局部聚合图；
所述优化局部聚合图经特征校准处理，得到校准聚合特征图；
所述校准聚合特征图与优化局部聚合图经特征融合处理，得到所述第二特征图。
4.根据权利要求3所述的人行横道信号灯的控制方法，其特征在于，所述特征校准处理的操作具体为：所述优化局部聚合图经平均池化处理，得到池化局部聚合图；
所述优化局部聚合图依次经平均池化处理和标准池化处理，得到标准局部聚合图；
所述池化局部聚合图和标准局部聚合图经特征融合，得到初始校准聚合图；
所述初始校准聚合图依次经线性处理、批量归一化处理和非线性处理，得到所述校准聚合特征图。
5.根据权利要求1所述的人行横道信号灯的控制方法，其特征在于，所述S3中位置特征匹配处理的操作具体为：将所述行人检测框集中，每个行人检测框的底部中心位置点，分别与斑马线区域位置范围和等待区域位置范围进行匹配；
若行人检测框的底部中心位置点处于斑马线区域位置范围内，对应行人检测框为斑马线区域行人检测框，统计所有斑马线区域行人检测框的数量，得到所述斑马线区域行人数；
若行人检测框的底部中心位置点处于等待区域位置范围内，对应行人检测框为等待区域行人检测框，统计所有等待区域行人检测框的数量，得到所述等待区域行人数。
6.一种人行横道信号灯的控制系统，其特征在于，包括：
融合特征图生成模块，用于获取人行横道图像，所述人行横道图像经卷积处理，得到第一特征图；所述人行横道图像依次经第一语义特征提取和第二语义特征提取，得到第二特征图；所述第一特征图和第二特征图经特征融合处理，得到融合特征图；
感兴趣区域分类框集生成模块，用于所述融合特征图经检测框预测处理和分类处理，得到感兴趣区域检测框集；所述得到感兴趣区域检测框集的操作具体为：所述融合特征图经边界框回归处理，得到由每个感兴趣区域内多个检测框形成的检测框集；所述检测框集中，每个检测框经特征提取后，与标准数据库进行匹配，得到的匹配度最大值与对应类别，分别作为对应检测框的分类概率值和分类结果；每个检测框，以及对应分类概率值和分类结果，形成了所述感兴趣区域检测框集；获取所述感兴趣区域检测框集中，同一感兴趣区域内，与真实框的交并比值大于第一阈值的对应预测框，得到感兴趣区域优化检测框集；获取所述感兴趣区域优化检测框集中，同一感兴趣区域内，分类概率最大值对应的检测框，得到感兴趣区域分类框集；
斑马线区域行人数和等待区域行人数生成模块，用于获取所述感兴趣区域分类框集中，分类结果为行人的检测框，得到行人检测框集；所述行人检测框集经位置特征匹配处理，得到斑马线区域行人数和等待区域行人数；
人行横道信号灯结果生成模块，用于基于所述斑马线区域行人数和等待区域行人数，得到人行横道信号灯结果；具体为：当所述斑马线区域行人数不为0时，所述人行横道信号灯结果为通行；当所述斑马线区域行人数为0时，等待区域行人数超过第二阈值，或等待区域行人数对应的等待时间超过第三阈值，所述人行横道信号灯结果为通行。
7.一种人行横道信号灯的控制设备，其特征在于，包括处理器和存储器，其中，所述处理器执行所述存储器中保存的计算机程序时实现如权利要求1‑5任一项所述的人行横道信号灯的控制方法。
8.一种计算机可读存储介质，其特征在于，用于存储计算机程序，其中，所述计算机程序被处理器执行时实现如权利要求1‑5中任一项所述的人行横道信号灯的控制方法。
一种人行横道信号灯的控制方法、系统、设备和存储介质
技术领域
[0001] 本发明涉及图像数据处理技术领域，具体为一种人行横道信号灯的控制方法、系统、设备和存储介质。
背景技术
[0002] 早晚高峰期间，行人及来往车辆较多，人行横道信号灯若是显示不科学，容易造成人行横道拥挤，发生行人碰撞事件，甚至会影响后续车辆通行，加剧交通堵塞。
[0003] 现有的人行横道信号灯，主要是通过控制信号灯的固定时长，来控制通行时间。但是，当行人数量较多时，信号灯切换时间相对较短，容易造成人行通道拥堵；当行人数量较少时，信号灯切换时间相对较长，容易出现行人闯红灯现象，易造成交通安全事故发生。
发明内容
[0004] 本发明的目的是提供一种基于行人识别结果的人行横道信号灯的控制方法、系统、设备和存储介质。
[0005] 本发明技术方案如下：
[0006] 一种人行横道信号灯的控制方法，包括如下操作：
[0007] S1、获取人行横道图像，所述人行横道图像经卷积处理，得到第一特征图；所述人行横道图像依次经第一语义特征提取和第二语义特征提取，得到第二特征图；所述第一特征图和第二特征图经特征融合处理，得到融合特征图；
[0008] S2、所述融合特征图经检测框预测处理和分类处理，得到感兴趣区域检测框集；
[0009] 获取所述感兴趣区域检测框集中，同一感兴趣区域内，与真实框的交并比值大于第一阈值的对应预测框，得到感兴趣区域优化检测框集；
[0010] 获取所述感兴趣区域优化检测框集中，同一感兴趣区域内，分类概率最大值对应的检测框，得到感兴趣区域分类框集；
[0011] S3、获取所述感兴趣区域分类框集中，分类结果为行人的检测框，得到行人检测框集；
[0012] 所述行人检测框集经位置特征匹配处理，得到斑马线区域行人数和等待区域行人数；
[0013] S4、基于所述斑马线区域行人数和等待区域行人数，得到人行横道信号灯结果。
[0014] 所述S1中第一语义特征提取的操作具体为：所述人行横道图像依次经特征卷积和局部特征聚合，得到的局部聚合特征图，用于执行所述第二语义特征提取的操作；所述局部特征聚合的操作具体为：将经特征卷积处理过的卷积输入，进行多次特征卷积处理后，得到卷积聚合图；所述卷积聚合图与卷积输入经特征融合处理，得到所述局部聚合特征图。
[0015] 所述第二语义特征提取的操作具体为：所述局部聚合特征图经卷积处理，得到优化局部聚合图；所述优化局部聚合图经特征校准处理，得到校准聚合特征图；所述校准聚合特征图与优化局部聚合图经特征融合处理，得到所述第二特征图。
[0016] 所述特征校准处理的操作具体为：所述优化局部聚合图经平均池化处理，得到池化局部聚合图；所述优化局部聚合图依次经平均池化处理和标准池化处理，得到标准局部聚合图；所述池化局部聚合图和标准局部聚合图经特征融合，得到初始校准聚合图；所述初始校准聚合图依次经线性处理、批量归一化处理和非线性处理，得到所述校准聚合特征图。
[0017] 所述S3中得到感兴趣区域检测框集的操作具体为：所述融合特征图经边界框回归处理，得到由每个感兴趣区域内多个检测框形成的检测框集；所述检测框集中，每个检测框经特征提取后，与标准数据库进行匹配，得到的匹配度最大值与对应类别，分别作为对应检测框的分类概率值和分类结果；每个检测框，以及对应分类概率值和分类结果，形成了所述感兴趣区域检测框集。
[0018] 所述S3中位置特征匹配处理的操作具体为：将所述行人检测框集中，每个行人检测框的底部中心位置点，分别与斑马线区域位置范围和等待区域位置范围进行匹配；若行人检测框的底部中心位置点处于斑马线区域位置范围内，对应行人检测框为斑马线区域行人检测框，统计所有斑马线区域行人检测框的数量，得到所述斑马线区域行人数；若行人检测框的底部中心位置点处于等待区域位置范围内，对应行人检测框为等待区域行人检测框，统计所有等待区域行人检测框的数量，得到所述等待区域行人数。
[0019] 所述S4的操作具体为：当所述斑马线区域行人数不为0时，所述人行横道信号灯结果为通行；当所述斑马线区域行人数为0时，等待区域行人数超过第二阈值，或等待区域行人数对应的等待时间超过第三阈值，所述人行横道信号灯结果为通行。
[0020] 一种人行横道信号灯的控制系统，包括：
[0021] 融合特征图生成模块，用于获取人行横道图像，所述人行横道图像经卷积处理，得到第一特征图；所述人行横道图像依次经第一语义特征提取和第二语义特征提取，得到第二特征图；所述第一特征图和第二特征图经特征融合处理，得到融合特征图；
[0022] 感兴趣区域分类框集生成模块，用于所述融合特征图经检测框预测处理和分类处理，得到感兴趣区域检测框集；获取所述感兴趣区域检测框集中，同一感兴趣区域内，与真实框的交并比值大于第一阈值的对应预测框，得到感兴趣区域优化检测框集；获取所述感兴趣区域优化检测框集中，同一感兴趣区域内，分类概率最大值对应的检测框，得到感兴趣区域分类框集；
[0023] 斑马线区域行人数和等待区域行人数生成模块，用于获取所述感兴趣区域分类框集中，分类结果为行人的检测框，得到行人检测框集；所述行人检测框集经位置特征匹配处理，得到斑马线区域行人数和等待区域行人数；
[0024] 人行横道信号灯结果生成模块，用于基于所述斑马线区域行人数和等待区域行人数，得到人行横道信号灯结果。
[0025] 一种人行横道信号灯的控制设备，包括处理器和存储器，其中，所述处理器执行所述存储器中保存的计算机程序时实现上述的人行横道信号灯的控制方法。
[0026] 一种计算机可读存储介质，用于存储计算机程序，其中，所述计算机程序被处理器执行时实现上述的人行横道信号灯的控制方法。
[0027] 本发明的有益效果在于：
[0028] 本发明提供的一种人行横道信号灯的控制方法，将人行横道图像进行语义特征提取和特征融合，得到的融合特征图经检测框预测和分类后，根据交并比值和分类概率进行检测框筛选，留下可靠性强的检测框用于统计斑马线区域行人数和等待区域行人数，最后根据斑马线区域行人数和等待区域行人数，灵活控制人行横道信号灯显示情况，合理安排行人过马路，避免交通安全事故的发生。
具体实施方式
[0029] 本实施例提供了一种人行横道信号灯的控制方法，包括如下操作：
[0030] S1、获取人行横道图像，所述人行横道图像经卷积处理，得到第一特征图；所述人行横道图像依次经第一语义特征提取和第二语义特征提取，得到第二特征图；所述第一特征图和第二特征图经特征融合处理，得到融合特征图；
[0031] S2、所述融合特征图经检测框预测处理和分类处理，得到感兴趣区域检测框集；获取所述感兴趣区域检测框集中，同一感兴趣区域内，与真实框的交并比值大于第一阈值的对应预测框，得到感兴趣区域优化检测框集；获取所述感兴趣区域优化检测框集中，同一感兴趣区域内，分类概率最大值对应的检测框，得到感兴趣区域分类框集；
[0032] S3、获取所述感兴趣区域分类框集中，分类结果为行人的检测框，得到行人检测框集；所述行人检测框集经位置特征匹配处理，得到斑马线区域行人数和等待区域行人数；
[0033] S4、基于所述斑马线区域行人数和等待区域行人数，得到人行横道信号灯结果。
[0034] S1、获取人行横道图像，人行横道图像经卷积处理，得到第一特征图；人行横道图像依次经第一语义特征提取和第二语义特征提取，得到第二特征图；第一特征图和第二特征图经特征融合处理，得到融合特征图。
[0035] 获取人行横道图像。使用网线连接正对人行横道的摄像头和工控机，拉取出RTSP视频流后，利用opencv‑python库进行抽帧，得到待检的人行横道图像。
[0036] 第一语义特征提取的操作为：人行横道图像依次经特征卷积和局部特征聚合，得到的局部聚合特征图用于执行第二语义特征提取的操作；局部特征聚合的操作具体为：将经特征卷积处理过的卷积输入，进行多次特征卷积处理后，得到卷积聚合图；卷积聚合图与卷积输入经特征融合处理，得到局部聚合特征图。特征卷积包括：3×3普通卷积、批量归一化和线性处理（可通过Leaky relu激活函数实现）。
[0037] 第二语义特征提取的操作具体为：局部聚合特征图经卷积处理，得到优化局部聚合图；优化局部聚合图经特征校准处理，得到校准聚合特征图；校准聚合特征图与优化局部聚合图经特征融合处理，得到第二特征图。
[0038] 特征校准处理的操作为：优化局部聚合图经平均池化处理，得到池化局部聚合图；优化局部聚合图依次经平均池化处理和标准池化处理，得到标准局部聚合图；池化局部聚合图和标准局部聚合图经特征融合，得到初始校准聚合图；初始校准聚合图依次经线性处理、批量归一化处理和非线性处理（可通过sigmoid激活函数实现），得到校准聚合特征图。
[0039] 其中，平均池化处理的操作可通过如下公式实现：
[0040] ，
[0041] μnc为池化局部聚合图，xnc为优化局部聚合图，H为优化局部聚合图的高，W为优化局部聚合图的宽。
[0042] 标准池化处理的操作可通过如下公式实现：
[0043] ，
[0044] σnc为标准局部聚合图，xnc为优化局部聚合图，μnc为池化局部聚合图，H为优化局部聚合图的高，W为优化局部聚合图的宽。
[0045] 为提升融合特征图的空间语义表达能力，提升检测结果的准确性，融合特征图经多空间尺度特征处理，得到优化融合特征图；优化融合特征图用于执行S2中的操作。
[0046] 多空间尺度特征处理的操作为：融合特征图经图像多空间转化处理，得到多个不同空间大小的空间特征图；所有空间特征图分别经多通道特征提取处理，得到的所有通道特征图经加权处理，得到优化融合特征图。
[0047] 多通道特征提取处理的操作为：将空间特征图经图像多通道转化处理，得到多个不同通道大小的初始通道特征图；所有初始通道特征图分别依次进行卷积处理、归一化处理和非线性处理，得到的所有优化通道特征图与各自对应的学习参数相乘后，再进行求和处理，得到优化融合特征图。以单个初始通道特征图为例，初始通道特征图依次进行卷积处理、归一化处理和非线性处理，得到优化通道特征图特征，以此类推，得到的所有优化通道特征图，与各自对应的学习参数相乘后，再进行求和处理，得到优化融合特征图。
[0048] S2、融合特征图或优化融合特征图经检测框预测处理和分类处理，得到感兴趣区域检测框集；获取感兴趣区域检测框集中，同一感兴趣区域内，与真实框的交并比值大于第一阈值的对应预测框，得到感兴趣区域优化检测框集；获取感兴趣区域优化检测框集中，同一感兴趣区域内，分类概率最大值对应的检测框，得到感兴趣区域分类框集。
[0049] 得到感兴趣区域检测框集的操作为：融合特征图或优化融合特征图经边界框回归处理，得到由每个感兴趣区域内多个检测框形成的检测框集；检测框集中，每个检测框经特征提取后，与标准数据库进行匹配，得到的匹配度最大值与对应类别，分别作为对应检测框的分类概率值和分类结果；每个检测框，以及对应分类概率值和分类结果，形成了感兴趣区域检测框集。
[0050] 具体为，根据融合特征图的像素分布特点，进行边界框回归处理（边界框回归处理为现有技术，为节省篇幅，不再此过多叙述），使融合特征图上同一块感兴趣区域内分布多个检测框；接着，对同一个感兴趣区域内，每个检测框进行卷积和池化处理来实现上述的特征提取，根据特征提取后的图像中的地物语义信息，与标准数据库中的标准分类图像进行语义特征匹配，输出匹配度为最大值的对应标准分类图像的类别，作为该检测框的分类结果，而匹配度最大值则作为对应检测框的分类概率值，也就是分类结果与真实结果之间的相似度，由此得到检测框的分类概率值和分类结果；所有检测框，以及它们分别对应的分类概率值和分类结果，形成了感兴趣区域检测框集。
[0051] 为进一步缩小检测框的数量，提高计算效率，将上述感兴趣区域检测框集中，同一感兴趣区域内，与真实框的交并比值大于第一阈值的对应预测框保留，作为与真实结果更接近的优化检测框，删除其他检测框，由此得到的由不同感兴趣区域所有优化检测框形成的感兴趣区域优化检测框集。其中，交并比值的计算公式为：交并比（Intersection over Union，IOU）=检测框与真实框相交面积/检测框与真实框的相并面积。
[0052] 最后，提取感兴趣区域优化检测框集中，同一感兴趣区域内，分类概率最大值对应的检测框，作为最终的分类的结果，得到感兴趣区域分类框集。
[0053] 为提升感兴趣区域分类框集的准确度，当感兴趣区域检测框集与真实框集的特征损失熵小于损失阈值时，输出当前感兴趣区域检测框，作为检测框。
[0054] 特征损失熵由分类损失熵、置信度损失熵和交并比损失熵进行求和处理得到。
[0055] 分类损失熵可通过如下公式得到：
[0056] ，
[0057] Lcla为分类损失熵，N为预测框的总数，yi为第i个预测框的分类真实值，p(yi)为第i个预测框的分类预测值。
[0058] 置信度损失熵可通过如下公式得到：
[0059] ，
[0060] Lcon为置信度损失熵，N为预测框的总数，xi为第i个预测框与真实框的真实相似度，p(yi)为第i个预测框与真实框的预测相似度。
[0061] 交并比损失熵可通过如下公式实现：
[0062] ，
[0063] LCIoU为交并比损失熵，IoU为预测框与真实框的重叠程度，ρ为预测框与真实框的中心点距离，c为预测框的对角线长度，v为预测框与真实框宽高比相似度，α第一相关系数。
[0064] 其中，v的计算公式为：
[0065] ，
[0066] wA为预测框的宽度，hA为预测框的高度，wB为真实框的宽度，hB为真实框的高， ，分别为预测框、真实框的宽高比。
[0067] S3、获取感兴趣区域分类框集中，分类结果为行人的检测框，得到行人检测框集；行人检测框集经位置特征匹配处理，得到斑马线区域行人数和等待区域行人数。
[0068] 位置特征匹配处理的操作具体为：将行人检测框集中，每个行人检测框的底部中心位置点，分别与斑马线区域位置范围和等待区域位置范围进行匹配；若行人检测框的底部中心位置点处于斑马线区域位置范围内，对应行人检测框为斑马线区域行人检测框，统计所有斑马线区域行人检测框的数量，得到斑马线区域行人数；若行人检测框的底部中心位置点处于等待区域位置范围内，对应行人检测框为等待区域行人检测框，统计所有等待区域行人检测框的数量，得到等待区域行人数。
[0069] S4、基于斑马线区域行人数和等待区域行人数，得到人行横道信号灯结果。
[0070] 当斑马线区域行人数不为0时，人行横道信号灯结果为通行；当斑马线区域行人数为0时，等待区域行人数超过第二阈值（可设置为5人），或等待区域行人数对应的等待时间超过第三阈值（可设置为60s），人行横道信号灯结果为通行。
[0071] 具体为，当斑马线区域上有人时，人行横道信号灯亮绿灯，示意行人通行；当斑马线区域上没有人时，但等待区域行人数超过了5人，此人行横道信号灯亮绿灯，示意行人通行；或者等待区域行人数不超过5人，但是有行人等待的时间超过了60s，此人行横道信号灯亮绿灯，示意行人通行。行人的等待时间，可通过将目标行人首次进入等待区域的时刻，与当前人行横道图像的时刻作差得到。
[0072] 本实施例中，选择使用工控机将斑马线区域行人数和等待和等待区域行人数通过串口实时传递给信号灯系统，单片机串口接收到数据后会判断是否进行信号灯的切换。为了避免数据的干扰，进行头数据尾进行发送，比如发送数据如“aabb0100ccdd”，“aabb”是帧头“ccdd”是帧尾，斑马线区域行人数和等待和等待区域行人数分别对应01、00这两个16进制位数，如此可保证了单片机接受信号是稳定和可靠的。
[0073] 本实施例还提供一种人行横道信号灯的控制系统，包括：
[0074] 融合特征图生成模块，用于获取人行横道图像，人行横道图像经卷积处理，得到第一特征图；人行横道图像依次经第一语义特征提取和第二语义特征提取，得到第二特征图；第一特征图和第二特征图经特征融合处理，得到融合特征图；
[0075] 感兴趣区域分类框集生成模块，用于融合特征图经检测框预测处理和分类处理，得到感兴趣区域检测框集；获取感兴趣区域检测框集中，同一感兴趣区域内，与真实框的交并比值大于第一阈值的对应预测框，得到感兴趣区域优化检测框集；获取感兴趣区域优化检测框集中，同一感兴趣区域内，分类概率最大值对应的检测框，得到感兴趣区域分类框集；
[0076] 斑马线区域行人数和等待区域行人数生成模块，用于获取感兴趣区域分类框集中，分类结果为行人的检测框，得到行人检测框集；行人检测框集经位置特征匹配处理，得到斑马线区域行人数和等待区域行人数；
[0077] 人行横道信号灯结果生成模块，用于基于斑马线区域行人数和等待区域行人数，得到人行横道信号灯结果。
[0078] 本实施例还提供一种人行横道信号灯的控制设备，包括处理器和存储器，其中，处理器执行存储器中保存的计算机程序时实现上述的人行横道信号灯的控制方法。
[0079] 本实施例还提供一种计算机可读存储介质，用于存储计算机程序，其中，计算机程序被处理器执行时实现上述的人行横道信号灯的控制方法。
[0080] 本实施例提供的一种人行横道信号灯的控制方法，将人行横道图像进行语义特征提取和特征融合，得到的融合特征图经检测框预测和分类后，根据交并比值和分类概率进行检测框筛选，留下可靠性强的检测框用于统计斑马线区域行人数和等待区域行人数，最后根据斑马线区域行人数和等待区域行人数，灵活控制人行横道信号灯显示情况，合理安排行人过马路，避免交通安全事故的发生。
