本发明提供一种用于高速公路的驾驶行为决策方法，包括如下步骤：将自动驾驶车辆在高速公路上的决策过程定义为部分可观测的马尔可夫决策过程；定义自动驾驶车辆的策略；训练自动驾驶车辆；将自动驾驶车辆神经网络模型部署于车载终端，并实现驾驶行为决策。本发明所述的高速公路的驾驶行为决策方法，具备自主学习能力，且能够在反复学习后进行自主决策引导车辆正确驾驶。
1.一种用于高速公路的自动驾驶行为决策方法，其特征在于，包括如下步骤：S1,将自动驾驶车辆在高速公路上的决策过程定义为部分可观测的马尔可夫决策过程；
S4，将自动驾驶车辆神经网络模型部署于车载终端，并实现驾驶行为决策；
S101，设智能体观测到的状态空间为S(t)={Ne(t), Ve(t), Ns1(t), Vs1(t), Ds1(t), Ns2(t), Vs2(t), Ds2(t), …, Nsi(t), Vsi(t), Dsi(t)}，其中，Ne(t), Ve(t)分别表示自动驾驶车辆的横向位置和纵向速度，Nsi(t), Vsi(t), Dsi(t)分别表示第i个周围车辆的横向位置、纵向速度以及相对于自动驾驶车辆的距离；
S102，设智能体的动作空间为连续的纵向加速度ae(t)和横向转向角δ(t)；
其中，rc(t)表示碰撞安全性奖励, rv(t)表示行驶速度奖励, rn(t)表示行驶距离奖励，ε1,ε2,ε3分别表示三个奖励的权重系数；
S104，对奖励函数分量分别进行归一化处理，得到新奖励函数，然后，对新奖励函数进行归一化处理，计算奖励；
步骤S104中的归一化处理的具体过程包括:S104a,定义碰撞惩罚，
S104b，定义速度奖励范围为[Vemin, Vemax]，通过如下公式对速度奖励进行归一化处理：；
其中，Ve(t)表示智能体的实时纵向速度，同时，若Ve(t)小于Vemin，则速度奖励为0，若Ve(t)大于Vemax，则速度奖励为1；
S104c，定义位置奖励范围为[Nemin, Nemax]，通过如下公式计算奖励:其中，N e(t)表示智能体的实时横向位置，同时，若Ne(t)小于Nemin，则位置奖励为0，若Ne(t)大于Nemax，则位置奖励为1；
S104d，各奖励分量进行归一化处理后，新的奖励函数的边界为,对新的奖励函数进行归一化处理：；
步骤S2中定义智能体的策略具体为π: S→A，采用DDPG算法训练自动驾驶车辆，定义自动体的策略网络和评价网络，网络参数定义为θ和w，为了增加训练稳定性，定义目标策略网络θ’和目标评价网络w’；
步骤S3中训练自动驾驶车辆的具体过程包括：S301，定义步骤S2中的四种神经网络的学习率以及目标网络的学习率，经验池的尺寸，强化学习的折扣因子γ，训练回合数、每个回合的决策步数，决策频率fd和车辆控制频率fv；
S302，初始化观测状态St，随机选取动作at，获得下一个时刻的状态St+1和奖励信号rt+1，将（St，at，rt+1，St+1）存入经验池；
S304，在循环执行步骤S302的同时，循环执行噪声交互，直至满足回合结束条件或发生碰撞；
S304a，初始化观测状态St，从策略π(S;θ)中选取动作时at时加入均匀分布的探索噪声，执行动作at，获得下一个时刻的状态St+1和奖励信号rt+1，将（St，at，rt+1，St+1）存入经验池；
S304b，从经验池中随机采样经验，并估计回报值U；回报值通过如下公式计算：U=R+γq(St+1,π(St+1;θ’))；
其中，γ表示奖励折扣因子，R表示采样经验的奖励，q(St+1, π(St+1; θ’))为目标策略网络θ’估计的在状态St+1下，采用策略π(St+1;θ’)时的动作价值；
S304c，通过随机梯度下降法更新评价网络参数，定义其损失函数为：2
其中，q(St, at; w’)为目标评价网络估计的动作价值；
S304d，通过随机梯度下降法更新策略网络参数，定义其损失函数为：‑q(St,π(St;θ); w)；
S304e，将更新后的策略网络参数和评价网络参数赋值给目标策略网络和目标评价网络。
2.根据权利要求1所述的用于高速公路的自动驾驶行为决策方法，其特征在于，步骤S4的决策过程包括，当观测到的车道线为实线时，且输出的动作为转向角时，则最终输出转向角为0，速度保持原车速的决策。
3.根据权利要求1所述的用于高速公路的自动驾驶行为决策方法，其特征在于，步骤S4的决策过程包括，定义一个安全距离阈值dmin和/或安全时间阈值tmin，当自动驾驶车辆与同一车道的前车的距离或碰撞时间小于阈值时，此时不允许采取加速动作；或与旁边车道的前车距离或碰撞时间小于阈值时，不允许采取变道动作，若有加速或转向，则最终输出为维持原速度和转向角的决策。
一种用于高速公路的驾驶行为决策方法
技术领域
[0001] 本发明属于智能驾驶领域，具体涉及一种用于高速公路的驾驶行为决策方法。
背景技术
[0002] 自动驾驶技术是智能交通的核心技术，能够极大的提高车辆安全性和道路的运输能力。自动驾驶的功能实现可以分为环境感知、决策规划、车辆控制三个模块。环境感知负
责监测环境中的障碍物，相当于人类驾驶员的感官。决策规划模块根据感知信息做出变道、
跟车、加速等驾驶决策，并规划出一条安全的可行驶轨迹。车辆控制模块控制转向、油门和
制动踏板实现轨迹的跟踪。
[0003] 决策规划功能是自动驾驶车辆智能化程度的主要体现，一个拟人化程度高的决策系统能大大提高智能车的安全性和乘坐舒适性以及周尾交通参与者的接收度。目前常用的
决策规划方法大致可以分为基于规则的方法和基于学习的方法以及两者的结合。基于规则
的方法包括有限状态机模型、决策树模型等。首先按照一定的经验和规则将行驶环境划分
为不同等级的子场景，对不同的场景设定不同的驾驶决策，实际行驶过程进行搜索决策。基
于学习的方法包括基于深度学习和强化学习的决策方法。将驾驶环境抽象为状态量，通过
构建复杂的神经网络将状态空间映射至驾驶行为，通过仿真或实车驾驶数据来训练网络。
[0004] 强化学习因其强大的自主学习能力被广泛地应用于决策规划技术。强化学习是基于行为主义心理学的方法，不需要大量带有标签的训练数据，通过不断地与环境交互，从环
境中获取状态动作的奖励反馈，从而学习到具有最大奖励值的状态和动作，以实现最优任
务规划。强化学习在应用于多目标的决策问题时，最关键的问题是如何设置合理的奖励函
数。目前研究较多的用于复杂环境下部分可观测Markov决策问题的强化学习有基于值函数
的DQN和基于策略梯度的DDPG算法。
[0005] 鉴于此，目前亟待提出一种具有自主学习能力的用于高速公路的驾驶行为决策方法。
发明内容
[0006] 为此，本发明所要解决的技术问题是提供一种具备自主学习能力、学习能力好的高速公路的驾驶行为决策方法。
[0007] 本发明的高速公路的驾驶行为决策方法，包括：
[0008] S1,将自动驾驶车辆在高速公路上的决策过程定义为部分可观测的马尔可夫决策过程；
[0009] S2，定义自动驾驶车辆的策略；
[0010] S3，训练自动驾驶车辆；
[0011] S4，将自动驾驶车辆神经网络模型部署于车载终端，并实现驾驶行为决策。
[0012] 进一步的步骤S1的具体过程为：
[0013] S101，设智能体观测到的状态空间为S(t)={Ne(t), Ve(t), Ns1(t), Vs1(t), Ds1(t), Ns2(t), Vs2(t), Ds2(t), …, Nsi(t), Vsi(t), Dsi(t)}，其中，Ne(t), Ve(t)分别表示
自动驾驶车辆的横向位置和纵向速度，Nsi(t), Vsi(t), Dsi(t)分别表示第i个周围车辆的
横向位置、纵向速度以及相对于自动驾驶车辆的距离；
[0014] S102，设智能体的动作空间为连续的纵向加速度ae(t)和横向转向角δ(t)；
[0015] S103，设置奖励函数：
[0016] ；
[0017] 其中，rc(t)表示碰撞安全性, rv(t)表示行驶速度, rn(t)表示行驶距离，ε1,ε2,ε3分别表示三个奖励的权重系数；
[0018] S104，对奖励函数分量分别进行归一化处理，得到新奖励函数，然后，对新奖励函数进行归一化处理，计算奖励。
[0019] 进一步，步骤S104中的归一化处理的具体过程包括:
[0020] S104a,定义碰撞惩罚，
[0021] ；
[0022] S104b，定义速度奖励范围为[Vemin, Vemax]，通过如下公式进行归一化处理：
[0023] ；
[0024] 其中，Ve(t)表示智能体的实时纵向速度，同时，若Ve(t)小于Vemin，则速度奖励为0，若Ve(t)大于Vemax，则速度奖励为1；
[0025] S104c，定义位置奖励范围为[Nemin, Nemax]，通过如下公式进行归一化处理:
[0026] ；
[0027] 其中，N e(t)表示智能体的实时横向位置，同时，若Ne(t)小于Nemin，则位置奖励为0，若Ne(t)大于Nemax，则位置奖励为1。
[0028] S104d，各奖励分量进行归一化处理后，新的奖励函数的边界为 ,对新的奖励函数进行归一化处理：
[0029] ；
[0030] 进一步，步骤S2中定义智能体的策略具体为π: S→A，采用DDPG算法训练自动驾驶车辆，定义自动体的策略网络和评价网络，网络参数定义为θ和w，为了增加训练稳定性，定
义目标策略网络θ’和目标评价网络w’。
[0031] 进一步，步骤S3中训练自动驾驶车辆的具体过程包括：
[0032] S301，定义步骤S2中的四种神经网络的学习率以及目标网络的学习率，经验池的尺寸，强化学习的折扣因子γ，训练回合数、每个回合的决策步数，决策频率fd和车辆控制
频率fv；
[0033] S302，初始化观测状态St，随机选取动作at，获得下一个时刻的状态St+1和奖励信号rt+1，将（St，at，rt+1，St+1）存入经验池；
[0034] S303，循环执行步骤S302，直至填满经验池；
[0035] S304，在循环执行步骤S302的同时，循环执行噪声交互，直至满足回合结束条件或发生碰撞；
[0036] S305，保存自动驾驶车辆的神经网络模型。
[0037] 进一步，步骤S304的具体过程为：
[0038] S304a，初始化观测状态St，从策略π(S;θ)中选取动作时at时加入均匀分布的探索噪声，执行动作at，获得下一个时刻的状态St+1和奖励信号rt+1，将（St，at，rt+1，St+1）存入经验
池；
[0039] S304b，从经验池中随机采样经验，并估计回报值U；回报值通过如下公式计算：
[0040] U=R+γq(St+1,π(St+1;θ’))；
[0041] 其中，γ表示奖励折扣因子，R表示采样经验条的奖励，q(St+1, π(St+1; θ’)) 为目标策略网络估计的在状态St+1下，采用策略π(St+1;θ’)时的动作价值。
[0042] S304c，通过随机梯度下降法更新评价网络参数，定义其损失函数为：
[0043] [U‑ q(St, at; w’))]2；
[0044] 其中，q(St, at; w’)为目标评价网络估计的动作价值；
[0045] S304d，通过随机梯度下降法更新策略网络参数，定义其损失函数为：
[0046] ‑q(St,π(St;θ); w)；
[0047] S304e，将更新后的策略网络参数和评价网络参数赋值给目标策略网络和目标评价网络。
[0048] 进一步，步骤S4的决策过程包括，当观测到的车道线为实线时，且输出的动作为转向角时，则最终输出转向角为0，速度保持原车速的决策。
[0049] 进一步，定义一个安全距离阈值dmin和/或安全时间阈值tmin，当自动驾驶车辆与同一车道的前车的距离或碰撞时间小于阈值时，此时不允许采取加速动作；或与旁边车道的
前车距离或碰撞时间小于阈值时，不允许采取变道动作，若有加速或转向，则最终输出为维
持原速度和转向角的决策。
[0050] 本发明的上述技术方案，相比现有技术具有以下优点：
[0051] 已有的强化学习决策规划方法通常是先决策出一个离散的驾驶动作，比如变道、跟车、加减速等宏观动作，再采用其他方法规划转向角和加速度。此外，现有的基于强化学
习的驾驶决策规划都采用离散的奖励函数，这将导致训练不稳定或结果不收敛等问题。本
发明针对高速公路驾驶环境，提出一种基于深度强化学习的决策规划方法及装置，直接将
驾驶环境状态空间映射到纵向加速度和横向转向角，省去了中间规划过程，可以显著提高
决策效率和驾驶安全性，采用DDPG算法处理连续动作空间的决策规划问题，对策略网络和
评价网络分别加入目标策略网络和目标评价网络，以增强算法训练稳定性。同时将奖励函
数进行归一化处理，使每一个动作所能获得的奖励具有确定的边界，提高算法的适用性和
收敛速度。训练好智能体后，在实际应用时，为进一步增强决策安全性，引入基于规则的硬
约束，当观测到车道线为实线，而强化学习决策模块输出的动作为转向角时，则最终输出转
向角为0，速度保持原车速的决策；定义一个安全距离dmin或安全时间阈值tmin，当智能体
与同一车道的前车的距离或碰撞时间小于阈值时，此时不允许采取加速动作，或与旁边车
道的前车距离或碰撞时间小于阈值时，不允许采取变道动作，若强化学习模块输出有加速
或转向，则最终输出为维持原速度和转向角的决策。
附图说明
[0052] 图1是本发明实施例提供的流程示意图。
具体实施方式
[0053] 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于
本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他
实施例，都属于本发明保护的范围。
[0054] 本实施例的用于高速公路的决策方法，如图1所示，包括如下步骤：
[0055] S1,将自动驾驶车辆在高速公路上的决策过程定义为部分可观测的马尔可夫决策过程，具体包括：
[0056] S101，设智能体观测到的状态空间为S(t)={Ne(t), Ve(t), Ns1(t), Vs1(t), Ds1(t), Ns2(t), Vs2(t), Ds2(t), …, Nsi(t), Vsi(t), Dsi(t)}，其中，Ne(t), Ve(t)分别表示
自动驾驶车辆的横向位置和纵向速度，Nsi(t), Vsi(t), Dsi(t)分别表示第i个周围车辆的
横向位置、纵向速度以及相对于自动驾驶车辆的距离；
[0057] S102，设智能体的动作空间为连续的纵向加速度ae(t)和横向转向角δ(t)；
[0058] S103，设置奖励函数：
[0059] ；
[0060] 其中，rc(t)表示碰撞安全性, rv(t)表示行驶速度, rn(t)表示行驶距离，ε1,ε2,ε3分别表示三个奖励的权重系数；
[0061] S104，对奖励函数各分量分别进行归一化处理，得到新奖励函数，然后，对新奖励函数进行归一化处理，计算奖励。具体地，对奖励函数进行归一化处理后的奖励函数r(t)变
成边界为[ε1,ε2+ε3]的新奖励函数，对新奖励函数进行归一化处理后，奖励边界回到[0,1]。
[0062] 由于通常基于强化学习的决策系统采用三个目标的离散奖励，而这会导致训练不稳定甚至不收敛，因次本实施例的S104对奖励函数进行归一化处理。
[0063] 步骤S104中的归一化处理的具体过程包括，S104a,定义碰撞惩罚，
[0064] ；
[0065] S104b，定义速度奖励范围为[Vemin, Vemax]，通过如下公式进行归一化处理：
[0066] ；
[0067] 其中，Ve(t)表示智能体的实时纵向速度，同时，若Ve(t)小于Vemin，则速度奖励为0，若Ve(t)大于Vemax，则速度奖励为1；
[0068] S104c，定义位置奖励范围为[Nemin, Nemax]，通过如下公式进行归一化处理:
[0069] ；
[0070] 其中，N e(t)表示智能体的实时横向位置，同时，若Ne(t)小于Nemin，则位置奖励为0，若Ne(t)大于Nemax，则位置奖励为1。
[0071] S2，定义自动驾驶车辆的策略，具体为π: S→A，采用DDPG算法训练自动驾驶车辆，定义自动体的策略网络和评价网络，网络参数定义为θ和w，为了增加训练稳定性，定义目标
策略网络θ’和目标评价网络w’。
[0072] S3，训练自动驾驶车辆，训练自动驾驶车辆的具体过程包括：
[0073] S301，定义步骤S2中的四种神经网络的学习率以及目标网络的学习率，经验池的尺寸，强化学习的折扣因子γ，训练回合数、每个回合的决策步数，决策频率fd和车辆控制
频率fv。
[0074] S302，初始化观测状态St，随机选取动作at，获得下一个时刻的状态St+1和奖励信号rt+1，将（St，at，rt+1，St+1）存入经验池。
[0075] S303，循环执行步骤S302，直至填满经验池。
[0076] S304，在循环执行步骤S302的同时，循环执行噪声交互，直至满足回合结束条件或发生碰撞。
[0077] 步骤S304的具体过程为，S304a，初始化观测状态St，从策略π(S;θ)中选取动作时at时加入均匀分布的探索噪声，执行动作at，获得下一个时刻的状态St+1和奖励信号rt+1，将
（St，at，rt+1，St+1）存入经验池。
[0078] S304b，从经验池中随机采样经验，并估计回报值U；回报值通过如下公式计算：
[0079] U=R+γq(St+1,π(St+1;θ’))。
[0080] 其中，γ表示奖励折扣因子，R表示采样经验条的奖励，q(St+1, π(St+1; θ’))为目标策略网络估计的在状态St+1下，采用策略π(St+1;θ’)时的动作价值。
[0081] S304c，通过随机梯度下降法更新评价网络参数，定义其损失函数为：
[0082] [U‑ q(St, at; w’))]2。
[0083] S304d，通过随机梯度下降法更新策略网络参数，定义其损失函数为：
[0084] ‑q(St,π(St;θ); w)；
[0085] 其中，q(St, at; w’)为目标评价网络估计的动作价值。
[0086] 本实施例中的随机梯度下降法为通用的参数更新方法，在此不再赘述。
[0087] S304e，将更新后的策略网络参数和评价网络参数赋值给目标策略网络和目标评价网络。
[0088] S305，保存自动驾驶车辆的神经网络模型。
[0089] S4，将自动驾驶车辆神经网络模型部署于车载终端，并实现驾驶行为决策。
[0090] 其中，驾驶行为决策的过程包括：当观测到的车道线为实线时，且输出的动作为转向角时，则最终输出转向角为0，速度保持原车速的决策；定义一个安全距离阈值dmin和/或
安全时间阈值tmin，当自动驾驶车辆与同一车道的前车的距离或碰撞时间小于阈值时，此时
不允许采取加速动作；或与旁边车道的前车距离或碰撞时间小于阈值时，不允许采取变道
动作，若有加速或转向，则最终输出为维持原速度和转向角的决策。
[0091] 显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或
变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或
变动仍处于本发明创造的保护范围之中。
