智慧交通信号灯组网协同优化控制系统及控制方法

摘要

本发明公开了一种智慧交通信号灯组网协同优化控制系统，包括数据采集与设备控制模块、信息提取模块、决策模块、指挥中心模块。本发明是一套完整的智慧交通信号灯控制技术解决方案，实现成本较低，具备完整性、可扩展性与可移植性的特征。在实现成本方面，本系统在交通路口未添加新的设备或传感器，目前交通路口普遍安置多个监控摄像机，用以监控是否出现交通违章现象。这些摄像机采集的数据可以用于本系统，大大节省本系统的部署成本。本系统采用了自底向上的设计，兼顾了数据采集、数据处理、智能决策与指挥中心干预，这些涵盖了交通信号灯控制的完整流程。

权利要求

1.一种智慧交通信号灯组网协同优化控制系统，其特征在于，包括：数据采集与设备控制模块，用于控制监控摄像机采集车流信息，对采集的信息进行包装，明确信息的来源摄像机，摄像机的位置、采集时间信息，并上传到指挥中心模块与信息提取模块；

所述数据采集与设备控制模块还负责接收其他模块传输的交通信号灯控制信号，控制交通信号灯的切换；

信息提取模块，包含多个局部信息提取模块，每个局部信息提取模块部署在一个边缘服务器上，负责从所述数据采集与设备控制模块接收监控摄像机的视频流信息，利用训练完成的深度卷积神经网络提取视频流中每个交通路口的等待红灯的车辆数量、车辆的等待时间信息；整合多个路口的车辆信息，计算车辆从等待到穿过路口所需的平均时间，将所有的计算结果整合设备信息传输到决策模块；

决策模块，负责交通信号灯控制的决策；所述决策模块划分为多个局部决策模块，每个局部决策模块部署在一个边缘服务器中；局部决策模块包含多个边缘决策模块，每个边缘决策模块控制一个交通信号灯；边缘决策模块接收并向相邻路口对应的边缘决策模块、局部决策模块共享信息提取模块的信息，使用强化学习技术，根据所述信息提取模块提取的信息和从相邻路口对应的边缘决策模块接收的信息，做出交通信号灯信号变化与否的决策，并将决策信息上传到指挥中心模块，与此同时将决策指令下发到所述数据采集与设备控制模块；

所述决策模块还接收指挥中心下发的干预指令，调整决策，再下发指令到数据采集与设备控制模块；

所述决策模块对交通信号灯控制进行了组网设计，即当前交通路口的决策受到下一个交通路口观测信息的影响，若下一个交通路口交通状况较差，本交通路口将减少放行车辆；

所述决策模块将观测信息和激励函数中本路口的排队车辆的数量减去了同向相邻路口排队车辆数量与权重因子ρ的乘积，ρ可以设置为0‑1之间的浮点数；若差为负数，设置该值为

0；观测值state设置如下：State＝[[排队的车辆数量‑同向相邻路口排队车辆数量×ρ],平均等待时长],[平均通行时间],[特种车辆数量]]激励函数设置如下：

R＝‑(排队的车辆数量‑同向相邻路口排队车辆数量×ρ+平均等待时长)‑平均通行时

2 2

间‑特种车辆的数量×平均通行时间指挥中心模块，用于整合信息，数据可视化，提供高层决策接口，干预所述决策模块的决策。

2.根据权利要求1所述的智慧交通信号灯组网协同优化控制系统，其特征在于，每个智能体控制一个交通信号灯，在强化学习过程中，将多个相邻交通路口的观测信息整合在一起，激励值整合在一起，即负责一个区域的n个相邻的路口交通信号灯的n个智能体，共享区域的观测信息与激励值信息，实现多个智能体之间协同优化。

3.一种智慧交通信号灯组网协同优化控制方法，其特征在于，采用如权利要求1或2所述的智慧交通信号灯组网协同优化控制系统，所述方法包括以下步骤：S1.数据采集与设备控制模块执行步骤如下：步骤S101.对每一个路口设备集合，建立设备信息表；

步骤S102.建立数据采集与设备控制模块建立和信息提取模块的连接，并且传输邻接信息表；

步骤S103.局部区域的多个路口监控摄像机实时采集路口的交通流信息，传输到边缘服务器，边缘服务器将邻接信息表和视频流动态打包，上传到指挥中心服务器；

步骤S104.局部区域的多个路口的交通信号灯每间隔1s采集当前的周期信息一次，传输到边缘服务器；

步骤S105.接收指挥中心模块和决策模块的指令，控制交通信号灯；

S2.信息提取模块的执行步骤如下：步骤S201.轮流获取每个交通路口的每个方向的视频流，每一秒分别从每个视频流中截取1帧图像；

步骤S202.利用深度卷积神经网络提取图片中的车辆的类别信息、车辆唯一标识信息、排队数量信息以及特种车辆的数量并以队列形式保存；

步骤S203.从信息队列中根据多次保存的信息获取排队的前5‑10个车辆的计算车辆的平均等待时长；

步骤S204.利用从不同监控摄像机提取的信息，计算同一车辆从第一次识别到再次识别的时间，即从等待到穿过交通路口的时间；

步骤S205.每间隔2‑5s整合计算信息，得到信息表并传输到局部决策模块；

S3.决策模块的执行步骤如下：步骤S301.接收从信息提取模块传输的信息表，接收从指挥中心模块下发的指令，并进行相关处理；

步骤S302.根据信息表中的相邻路口的信息，将该表格传输给相邻的边缘决策模块，同时将信息表上传到指挥中心服务器；

步骤S303.整合每个边缘决策模块管辖的信息提取模块的信息和相邻路口对应的边缘决策模块发送的信息；

步骤S304.将上述信息，即排队的车辆数量、等待的时长和平均通行时间和特种车辆数量作为观测信息；训练完成的强化学习的智能体根据观测信息做出决策；

步骤S305.根据决策信息生成决策指令，将决策信息上传到指挥中心，并且下发指令控制交通信号灯；

S4.指挥中心模块的执行步骤如下：步骤S401.接收边缘服务器上传的信息，可视化展示。

4.根据权利要求3所述的智慧交通信号灯组网协同优化控制方法，其特征在于，所述指挥中心模块的执行步骤进一步包括：步骤S402.对决策干预决策模块的决策。

5.根据权利要求3所述的智慧交通信号灯组网协同优化控制方法，其特征在于，所述指挥中心模块的执行步骤进一步包括：步骤S403.特殊情况时直接由指挥中心指挥所有交通信号灯。

6.根据权利要求3所述的智慧交通信号灯组网协同优化控制方法，其特征在于，所述指挥中心模块的执行步骤进一步包括：步骤S404.管理升级所述智慧交通信号灯组网协同优化控制系统的软件。

说明书

智慧交通信号灯组网协同优化控制系统及控制方法

技术领域

[0001] 本发明涉及智慧城市(Smart City)、智慧交通(Intelligent Transport)技术领域，实现一种网络化、模块化、智能化、公平化的智慧交通信号灯组网协同优化与控制系统。

背景技术

[0002] 随着城市化水平的提高，城市规模城市数量急剧增长，城市问题也逐渐凸显，在交通领域，上下班高峰期的道路拥堵问题成为城市发展中最棘手的问题之一。近年来，为了减
轻城市交通压力，人们将目光投向大数据技术与人工智能领域，希望借助大数据分析与智
能计算技术优化城市交通问题，减轻交通负担。

[0003] 在智慧城市建设中，智慧交通是不可或缺的一环，智慧交通完善了智慧城市建设，智慧城市又是智慧交通建设中的基石，为智慧交通提供软硬件支撑。在智慧交通领域，车辆
识别、车辆跟踪等技术是本系统的必要技术。智慧城市建设过程中将会为智慧交通系统提
供更多的硬件支持如监控摄像机、传感器等。

[0004] 车辆识别技术可以分辨图片或视频流中是否存在车辆以及车辆的类别、车辆的数量。车辆识别技术通常使用机器学习中的深度卷积神经网络来实现，常用的算法有Faster 
R‑CNN方法、YOLO算法、SSD(Single Shot MultiBox Detector)算法。

[0005] 车辆跟踪技术可以通过多个监控摄像机中不同的视频流进行车辆的识别与再识别。通过车辆跟踪技术可以在多个监控摄像机的视频流中识别车辆，并且获取车辆在几个
监控摄像机之间路程的通行时间，评价路段的通行能力。

[0006] 在智能交通信号灯控制领域，传统的方法有Webster方法，GreenWave方法，Maxband方法，Actuated Control方法，自组织的控制方法，Max‑pressure方法，SCATS
(Sydney Coordinated Adaptive Traffic System)方法。这些方法一般通过简单的规则优
化交通信号灯每个周期的时间。交通流量在时间跨度上有较大变化，并且存在着特殊情景，
简单的规则设计无法起到良好的优化效果。目前人工智能方法在交通信号灯控制领域受到
越来越多的关注，尤其是强化学习技术。

[0007] 强化学习主要包括状态表示集合，动作集合，概率状态转换函数，激励函数和学习率等五个元素。状态表示集合是环境状态信息的记录。动作集合是智能体执行的动作的记
录。通过概率状态转换函数，可以根据当前状态和智能体的动作得到下一状态。激励函数根
据环境和智能体的动作计算激励值。学习率决定当前的动作与激励值对将来动作的影响能
力。强化学习过程是智能体在当前状态与环境交互，从环境中得到下一状态和激励值，优化
策略根据激励值对该动作进行评估，影响下一步动作的选择。通过重复上述过程提升智能
体与环境的交互能力。

发明内容

[0008] 本发明设计了一种当今城市交通管理状态下的智能交通信号灯组网优化控制系统。如图1和图2所示，系统通过交通路口的监控摄像机设备采集路口的车流信息上传到边
缘服务器，每个边缘服务器接收多个相邻的交通路口车流信息。边缘服务器接收数据后一
方面将该数据上传到交通指挥中心，另一方面使用深度卷积神经网络提取交通路口中每个
车道上等待红灯的车辆的信息。整合多个相邻监控摄像头中提取的车流信息，计算出每个
交通路口等待红灯的车辆的数量、红灯的等待时间，等待到穿过路口的平均通行时间以及
特种车辆的数量。边缘服务器观测信息上传到交通指挥中心和相邻的边缘服务器，并将上
述信息的计算结果和相邻边缘服务器发送的计算结果作为观测信息，输入到已经训练完成
的强化学习智能体，智能体根据当前的观测信息决策，并且将交通信号灯控制信号传输到
指挥中心和路口的交通信号控制灯，交通信号灯根据信号控制车辆通行与否。为了提升系
统的安全性与鲁棒性，本系统接入交通指挥中心，对接收到的所有信息进行可视化展示，提
供控制接口，可以实现对决策模块的决策进行干预，或直接接管决策模块的决策。

[0009] 本发明是一个智慧交通灯组网协同控制优化系统，如图1所示，包括：

[0010] S1.数据采集与设备控制模块，用于控制监控摄像机采集车流信息，对采集的信息进行包装，明确信息的来源摄像机，摄像机的位置、采集时间信息，并上传到指挥中心模块
与信息提取模块。此模块还负责接收其他模块传输的交通信号灯控制信号，控制交通信号
灯的切换。每个数据采集与设备控制模块包含多个局部设备模块，每个局部设备模块包含
多个路口的监控摄像机与交通信号灯及其相关控制软件。

[0011] 其步骤如下：

[0012] 步骤S101.使用局部设备模块维护设备的位置信息，每个路口的设备组成一组，对外分配相同的组编号，对内分配组内设备编号，建立如图4所示的设备信息表。

[0013] 步骤S102.建立数据采集与设备控制模块建立和信息提取模块的连接，并且传输邻接信息表。

[0014] 步骤S103.局部区域的多个路口监控摄像机实时采集路口的交通流信息，传输到数据采集与设备控制模块与指挥中心模块。

[0015] 步骤S104.局部区域的多个路口的交通信号灯每间隔1s采集当前的周期信息一次，传输到数据采集与设备控制模块与指挥中心模块。

[0016] 步骤S105.接收指挥中心模块和决策模块的指令，控制交通信号灯。

[0017] S2.信息提取模块，包含多个局部信息提取模块，每个局部信息提取模块部署在一个边缘服务器上，负责从数据采集与设备控制模块接收监控摄像机的视频流信息，利用训
练完成的深度卷积神经网络提取视频流中每个交通路口的等待红灯的车辆数量、前5‑10个
车辆的等待时间信息、特种车辆的数量。整合多个路口的车辆信息，计算车辆从等待到穿过
路口所需的平均时间。将所有的计算结果整合设备信息传输到决策模块。

[0018] 其步骤如下：

[0019] 步骤S201.接收从数据采集与设备控制模块上传的视频流信息，每1s从每个视频流中截取1帧图像。

[0020] 步骤S202.利用卷积神经网络提取图片中的车辆的类别信息、车辆唯一标识信息、排队数量信息、特种车辆数量。

[0021] 步骤S203.利用同一摄像机相邻时间间隔拍摄的图像中排队的前5‑10个车辆的计算车辆的平均等待时长(下文称平均等待时长)。

[0022] 步骤S204.利用相邻摄像机拍摄的图像中的信息，计算同一车辆从第一次识别到再次识别的时间，即从等待到穿过交通路口的时间。

[0023] 步骤S205.每间隔2‑5s整合计算信息，得到如图5所示的信息表，传输到局部决策模块。

[0024] S3.决策模块，负责交通信号灯控制的决策。决策模块划分为多个局部决策模块，每个局部决策模块部署在一个边缘服务器中。局部决策模块包含多个边缘决策模块，每个
边缘决策模块控制一个交通信号灯。用于接收并向相邻路口对应的边缘决策模块、局部决
策模块共享信息提取模块的信息，并且使用强化学习技术，根据信息提取模块提取的信息
和从相邻路口对应的边缘决策模块接收的信息，做出交通信号灯信号变化与否的决策，并
将决策信息上传到指挥中心模块，与此同时将决策指令下发到数据采集与设备控制模块。
该模块还可以接收指挥中心下发的干预指令，调整决策，再下发指令到数据采集与设备控
制模块。

[0025] 其步骤如下：

[0026] 步骤S301.接收从信息提取模块传输的信息，接收从指挥中心模块下发的指令，并进行处理。

[0027] 步骤S302.根据信息表中的相邻路口的信息，将该表格传输给相邻的边缘决策模块。同时将信息表上传到指挥中心。

[0028] 步骤S303.整合每个边缘决策模块所管辖的信息提取模块的信息和相邻路口对应的边缘决策模块发送的信息。

[0029] 步骤S304.将上述信息，即排队的车辆数量、等待的时长和平均通行时间和是特种车辆数量作为观测值。训练完成的强化学习的智能体根据观测信息做出决策。智能体决策
过程如图6自动机所示。

[0030] 步骤S305.根据决策信息生成决策指令，将决策信息上传到指挥中心，并且下发指令到数据采集与设备控制层。

[0031] S4.指挥中心模块，用于整合信息，数据可视化，提供高层决策接口，干预决策模块的决策，提高系统的可靠性与鲁棒性。

[0032] 其步骤如下：

[0033] 步骤S401.接收边缘服务器上传的信息，可视化展示。

[0034] 步骤S402.必要时对决策干预决策模块的决策(可选)。

[0035] 步骤S403.特殊情况时直接由指挥中心指挥所有交通信号灯(可选)。

[0036] 步骤S404.管理升级该系统的软件(可选)。

[0037] 本发明提供了一套完整的智慧交通信号灯组网协同控制解决方案，该方案具有以下优势：

[0038] 本发明是一套完整的智慧交通信号灯控制技术解决方案，实现成本较低，具备完整性、可扩展性与可移植性的特征。在实现成本方面，本系统在交通路口未添加新的设备或
传感器，目前交通路口普遍安置多个监控摄像机，用以监控是否出现交通违章现象。这些摄
像机采集的数据可以用于本系统，大大节省本系统的部署成本。本系统采用了自底向上的
设计，兼顾了数据采集、数据处理、智能决策与指挥中心干预，这些涵盖了交通信号灯控制
的完整流程。本系统对除指挥中心之外的每一个模块都划分了子模块，每一个子模块负责
一个区域的设备管理、信息提取与决策的工作。模块之间可以通过叠加提升系统的规模，所
以本系统可以适应不同规模的城市与区域，可移植性较好。

[0039] 本发明对传统的强化学习控制交通信号灯研究进行了创新，包括：

[0040] 本系统对交通信号灯进行了组网，组网带来的优势是可以提升全局范围内的交通状况。组网后，当前路口的决策受到下一个交通路口交通状况的影响，当下一个路口交通状
况较好时，本路口的可以放行更多车辆，反之减少车辆放行，减轻下一路口的拥堵状况。

[0041] 本系统将车辆的排队长度、排队的前5‑10个车辆的平均等待时长、从等待到穿过路口时的平均时间以及特种车辆的数量作为观测信息，并且激励函数与这些信息相关。与
传统的基于排队长度和平均速度的观测信息和激励函数相比，本系统的观测信息和激励函
数提升了路口上不同方向上的公平性，即不会因为等待的车辆的数量少就使该方向上的车
辆等待的时间远远多于另一个方向上的车辆。同时，本系统能够使特种车辆优先通过。

[0042] 涉及技术

[0043] 本发明主要应用于智慧城市和智慧交通环境中，涉及的技术有：物联网、深度卷积神经网络算法、强化学习。

附图说明

[0044] 图1智慧交通信号灯组网协同优化控制系统模块图。

[0045] 图2智慧交通信号灯组网协同优化控制系统图。

[0046] 图3智慧交通信号灯组网协同优化控制系统顺序图。

[0047] 图4设备信息图。

[0048] 图5提取信息图。

[0049] 图6交通信号灯状态转换自动机图。

具体实施方式

[0050] 结合以下具体实施例和附图，对发明作进一步的详细说明。实施本发明的过程、条件、实验方法等，除以下专门提及的内容之外，均为本领域的普遍知识和公知常识，本发明
没有特别限制内容。

[0051] 本发明公开了一种智慧交通信号灯组网协同优化控制系统，该系统利用交通路口现有硬件监控摄像头与机器学习技术，包括深度卷积神经网络和强化学习实现对交通信号
灯的组网控制。该系统使用部署在交通路口的监控摄像机采集路口的车流信息上传到边缘
服务器，边缘服务器将信息传输到指挥中心服务器，同时每秒钟截取视频流中的一帧图像，
使用数据提取模块中的深度卷积神经网络提取图像中的信息，这些信息包括车辆的种类、
数量、唯一标识等。利用相邻时间、相邻交通路口采集的信息，计算每个交通路口等待红灯
的车辆的数量、排队的前5‑10辆车的平均等待时间、从等待到通过交通路口的平均时间、特
种车辆的数量信息。边缘服务器与控制相邻路口的边缘服务器共享上述信息，将上述信息
的计算结果和相邻边缘服务器发送的信息整合，作为观测信息输入到已经训练完成的强化
学习智能体，智能体根据当前的观测信息决策，得到交通信号灯的控制信号。边缘服务器将
控制信号和观测信息上传到交通指挥中心，并且将交通信号灯控制信号下发到路口的交通
信号控制灯，交通信号灯根据信号控制车辆通行与否。交通指挥中心模块对接收到的所有
信息进行可视化展示，提供控制接口，可以实现对决策模块的决策进行干预，或直接接管决
策模块的决策。此外交通指挥中心模块还负责系统的升级与管理，保证系统的安全性、稳定
性。

[0052] 本发明提供了智慧交通信号灯组网协同优化系统模块图如图1，智慧交通信号灯组网协同优化系统图如图2所示和智慧交通信号灯组网协同优化系统的顺序图如图3所示。
为了清晰的表达系统的细节、执行过程和部署方法，以下内容将结合模块结构、部署细节与
系统执行流程顺序进行详细的阐述。除以下专门提及与强调的公共的知识如深度卷积神经
网络和强化学习技术之外，均为本系统特有的成果，属于本发明保护的范围。

[0053] 模块化系统图将整个系统分成四个主要模块，分别是数据采集与设备控制模块、信息提取模块、决策模块、指挥中心模块。系统图中主要显示了系统的硬件部署与数据流。
部署过程中，软硬件整合，硬件主要包括部署在交通路口的监控摄像机、交通信号灯，分区
域部署的边缘服务器，服务器之间通信用到的交换机或路由器等设备以及部署在交通指挥
中心的服务器。负责硬件管理，信息提取，决策的软件系统部署在边缘服务器，负责决策干
预，软件系统升级与管理的软件部署在交通指挥中心的服务器。

[0054] 系统的部署与运行过程如下：

[0055] S1.数据采集与设备控制模块中包含部署在路口的监控摄像机和部署在边缘服务器的设备管理软件组成。每个路口的所有监控摄像机与交通信号灯作为一组设备，在边缘
服务器中保存如图4所示的设备信息表。该信息表包含组编号、设备组的安装位置、相邻的
组编号、设备类型、设备组内编号，设备信息。组编号是对每个路口的所有监控摄像机与交
通信号灯分配的编号。设备位置是该组设备的安装位置。相邻的组编号是与该路口相邻的
路口的组的编号，以“/”分隔。设备类型是用于区分交通信号灯和监控摄像机的字段。设备
编号是设备在组内的编号。组号和设备编号组合形成设备的唯一编号。设备信息保存监控
摄像机和交通信号灯的信息。监控摄像机的设备信息是监控摄像机所拍摄的路段，交通信
号灯的设备信息是交通信号灯每1s显示的信号。

[0056] S1.数据采集与设备控制模块执行步骤如下：

[0057] 步骤S101.对每一个路口设备集合(由局部设备模块管理)，建立如图4所示的设备信息表。

[0058] 步骤S102.建立数据采集与设备控制模块建立和信息提取模块的连接，并且传输邻接信息表。

[0059] 步骤S103.局部区域的多个路口监控摄像机实时采集路口的交通流信息，传输到边缘服务器，边缘服务器将邻接信息表和视频流动态打包，上传到指挥中心服务器。

[0060] 步骤S104.局部区域的多个路口的交通信号灯每间隔1s采集当前的周期信息一次，传输到边缘服务器。

[0061] 步骤S105.接收指挥中心模块和决策模块的指令，控制交通信号灯。

[0062] S2.信息提取模块作为软件部署在边缘服务器中，每个边缘服务器中部署多个信息提取模块(组成一个局部信息提取模块)，负责所管辖的多个交通路口的信息提取。信息
提取模块主要由深度卷积神经网络组成，首先使用公共数据集训练深度卷积神经网络，训
练完成后复制部署到边缘服务器，使用数据采集与设备控制模块的视频数据流测试，若测
试精度较低，系统在边缘服务器继续训练，达到较高精度时系统可以正式投入使用。深度卷
积神经网络是公共知识，不包括在本发明之内，而部署方案与方法设计属于本发明成果。

[0063] 信息提取模块的执行步骤如下：

[0064] 步骤S201.轮流获取每个交通路口的每个方向的视频流，每一秒分别从每个视频流中截取1帧图像。

[0065] 步骤S202.利用深度卷积神经网络提取图片中的车辆的类别信息、车辆唯一标识信息、排队数量信息以及特种车辆的数量并以队列形式保存。

[0066] 步骤S203.从信息队列中根据多次保存的信息获取排队的前5‑10个车辆的计算车辆的平均等待时长。

[0067] 步骤S204.利用从不同监控摄像机提取的信息，计算同一车辆从第一次识别到再次识别的时间，即从等待到穿过交通路口的时间。

[0068] 步骤S205.每间隔2‑5s整合计算信息，得到如图5所示的信息表，传输到局部决策模块。

[0069] S3.决策模块作为软件部署在边缘服务器中。决策模块主要由强化学习的智能体和组网逻辑组成。本发明对传统强化学习控制交通信号灯研究进行了创新，设计了组网优
化方法和特种车辆优先通过方法具体表现在：

[0070] 本发明对观测信息state进行了组网设计，即当前交通路口的决策受到下一个交通路口观测信息的影响，若下一个交通路口交通状况较差，本交通路口将减少放行车辆，防
止道路拥堵恶化导致车辆长时间无法通行。为了达成这一目的，本发明中将观测信息和激
励函数中本路口的排队车辆的数量减去了同向相邻路口排队车辆数量与权重因子ρ的乘
积，ρ可以设置为0‑1之间的浮点数。若差为负数，设置该值为0.此外本发明还相邻的几个交
通路口的观测值state整合到一起，奖励值整合到一起，在运行时每个智能体控制一个交通
信号灯，多个智能体协同优化。

[0071] 观测值state设置如下：

[0072]

[0073] 激励函数设置如下：

[0074] R＝‑(排队的车辆数量‑同向相邻路口排队车辆数量×ρ+平均等待时长)‑平均通2 2
行时间‑特种车辆的数量×平均通行时间

[0075] 使用此观测值与激励函数通过强化学习在模拟平台上训练智能体，训练完成后部署到边缘服务器。

[0076] 决策模块的执行步骤如下：

[0077] 步骤S301.接收从信息提取模块传输的信息表，接收从指挥中心模块下发的指令，并进行相关处理。

[0078] 步骤S302.根据信息表中的相邻路口的信息，将该表格传输给相邻路口对应的边缘决策模块。同时将信息表上传到指挥中心服务器。

[0079] 步骤S303.整合每个边缘决策模块管辖的信息提取模块的信息和相邻路口对应的边缘决策模块发送的信息。

[0080] 步骤S304.将上述信息，即排队的车辆数量、等待的时长和平均通行时间和特种车辆数量作为观测信息。训练完成的强化学习的智能体根据观测信息做出决策。

[0081] 步骤S305.根据决策信息生成决策指令，将决策信息上传到指挥中心，并且下发指令控制交通信号灯。

[0082] S4.指挥中心模块部署指挥中心服务器和相关软件，功能包括交通信号灯控制、决策干预、数据可视化。

[0083] 指挥中心模块的执行步骤如下：

[0084] 步骤S401.接收边缘服务器上传的信息，可视化展示。

[0085] 步骤S402.必要时对决策干预决策模块的决策(可选)。

[0086] 步骤S403.特殊情况时直接由指挥中心指挥所有交通信号灯(可选)。

[0087] 步骤S404.管理升级该系统的软件(可选)。

[0088] 除了深度卷积神经网络与强化学习算法之外，本发明中的设计的所有框架、技术、方法均在本发明的保护范围之内。

[0089] 本发明的保护内容不局限于以上实施例。在不背离发明构思的精神和范围下，本领域技术人员能够想到的变化和优点都被包括在本发明中，并且以所附的权利要求书为保
护范围。