本发明涉及一种可用于实现列车自动驾驶系统参数自学习的双Q表联合代理的建立方法，属于自动驾驶与强化学习领域。主要用于节省现有自动驾驶系统中关键转换参数需要专家逐车调整所消耗的大量人工工作成本，同时实现转换参数随车辆性能变化实时适应。本发明首先建立可正确响应转换参数改变所引发运行效果变化的运行仿真环境；其次，基于Q‑Learning方法，以舒适度和停准率两个条件为训练目标，建立两个参数调整代理分别给出向好的参数调整动作；最后，建立联合策略，协调两个参数调整代理相互配合工作，实现对参数的优化。在某地铁线路实车上实验，结果表明，本发明能达到良好的参数自学习效果，实现了列车参数的自动优化。
1.列车自动驾驶系统参数自学习的双Q表联合代理的建立方法，其特征在于所述方法包括如下步骤：步骤1，建立列车运行仿真环境；
步骤1.1，基于电子地图数据、列车理论性能参数及理论响应延时，利用单质点受力模型建立列车运动学模型及仿真系统框架；
步骤1.2，将现有ATO系统转化封装为控制库，由仿真系统向控制库发送列车速度、地图位置，控制库将根据与真实列车相同的控车逻辑、策略、算法计算控车输出级位levelt；
步骤1.3，仿真系统根据控车级位，根据响应延时、列车速度、所处位置的坡度、预设噪声水平、电空制动转换特性仿真细节计算实际加速度；
步骤1.3.1，根据预设响应延时对控车级位序列进行延时处理，更新控车作用级位序列，并将序列中当前周期级位作为实际作用级位，用于计算；
步骤1.3.2，由列车的出厂参数及动调数据建立理论性能参数表，根据列车速度及上一步中获取的实际作用级位，查表获得当前周期理论加速度a1；
步骤1.3.3，由电子地图中的当前位置坡度信息，换算为车辆对应的加速度，与当前周期理论加速度a1相加获得预处理加速度a2；
步骤1.3.4，在预处理加速度的基础上添加加速度噪声波动，同时可针对控车库精度问题进行惰行补偿操作，弥补低加速度被精度换转消除问题，获得预处理加速度a3；
步骤1.3.5，模拟电制动的提早、延后、过快、过缓衰退，以及空气制动的提早、延后、过快、过缓增益，组合产生不同形式的电空转换表现，根据a3生成电制动加速度aelc及空气制动aair，并分别进行随机衰退、增益，叠加后获得预处理加速度a4；
步骤1.3.6，对预处理加速度a4进行精度修正及其它相关细节处理，获得当前周期的实际加速度at；
步骤1.4，选取电子地图中的特定站，初始化位置信息数据，开始循环利用控车库输出级位levelt、计算实际加速度at、根据物理模型计算速度vt更新位置St，直至列车完成特定站的运行直至停靠到下一站台；
步骤2.1，设置训练超参数，包括训练模式、任务选择、代理训练次数、代理测试次数、仿真环境配置；
步骤2.2，代理初始化，即Q表初始化，针对舒适度及停准率两个调参目标，分别建立两个调参代理，并分别进行训练；
步骤2.3.1，外循环训练中首先对训练超参数进行自更新，包括学习率alpha自更新、探索率epsilon自更新；
步骤2.3.2.1，内循环中首先初始化一辆列车，设置运行参数和模式，对列车全局的性能参数表和运行状态进行调整以实现单辆列车的初始化；
步骤2.3.2.2，针对该列车，进行转换参数的调整动作抽取并执行，在获取当前列车状态current_state后进行动作抽取，根据选取的动作对转换参数进行调整，之后继续运行仿真，获取列车下一个状态next_state，动作抽取以高奖励优先、随机选择两种模式进行；
步骤2.3.2.3，将对转换参数进行过调整的仿真列车进行运行仿真，运行仿真是基于配置的电子地图、初始化后的特定列车，进行单站或全线路并行运行仿真，并提取出列车在状态转换参数下的停车表现；
步骤2.3.2.4，完成运行仿真后，将对状态和奖励计算，其中，针对舒适度的奖励采用仿真运行曲线与理想运行曲线误差面积的表征指标进行表示，奖励中包含全线路停靠表现，计算宏观化奖励；
步骤2.4，提取出分别针对舒适度和停准率目标训练完成后的Q表，获得两个训练参数自学习Q表，进行固化；
步骤3.1，将双Q表嵌入到车载ATO系统内，并为其建立新的配置属性及相关数据交互接口，从而实现参数自学习；
步骤3.2，列车由初始或出厂转换参数开始在ATO全程控车的条件下开始运行，舒适度Q表首先以高的决定权，以舒适度为首要目标对车辆转换参数进行调节，优化列车运行效率、速度曲线、舒适性关键指标，并记录舒适度的综合评价值变化记录；同时，停准率Q表也具有稳定的决定权，在优化舒适度的同时，同步优化停准率；
步骤3.3，随着舒适度综合评价值达到预设阈值或是趋于平稳，舒适度Q表的决定权逐渐下降直至不再作用，而停准率Q表的决定权维持不变，从而以停准率为目标，保证列车可在ATO控制下实现站站停准；
步骤3.4，当列车满足连续若干站停准后，联合代理将停止工作，直至监测到列车出现未停准情况，代理将自动重启，优化转换参数。
2.根据权利要求1所述的列车自动驾驶系统参数自学习的双Q表联合代理的建立方法，其特征在于：步骤1.2中将现有ATO系统转化封装为控制库，在仿真环境中实现了与真实车载自动驾驶系统共通的控车逻辑。
3.根据权利要求1所述的列车自动驾驶系统参数自学习的双Q表联合代理的建立方法，其特征在于：步骤1.3.5中对列车低速制动时的电制动与空气制动转换过程进行模拟仿真。
4.根据权利要求1所述的列车自动驾驶系统参数自学习的双Q表联合代理的建立方法，其特征在于：步骤2.2中针对列车运行舒适度及停准率建立两个调参代理，实现双Q表的训练任务与模式。
5.根据权利要求1所述的列车自动驾驶系统参数自学习的双Q表联合代理的建立方法，其特征在于：步骤2.3.2.4中针对舒适度的奖励采用仿真运行曲线与理想运行曲线误差面积的表征指标进行表示。
6.根据权利要求1所述的列车自动驾驶系统参数自学习的双Q表联合代理的建立方法，其特征在于：步骤2.3.2.4中结合全线路停靠表现，计算宏观化奖励。
7.根据权利要求1所述的列车自动驾驶系统参数自学习的双Q表联合代理的建立方法，其特征在于：步骤3.2中双Q表联合的调优模式，舒适度Q表首先以高的决定权进行参数调整，同时，停准率Q表也具有稳定的决定权，在优化舒适度的同时，同步优化停准率。
8.根据权利要求1所述的列车自动驾驶系统参数自学习的双Q表联合代理的建立方法，其特征在于：步骤3.3中随着舒适度综合评价值达到预设阈值或是趋于平稳，舒适度Q表的决定权逐渐下降直至不再作用，完成主优化目标的切换。
9.根据权利要求1所述的列车自动驾驶系统参数自学习的双Q表联合代理的建立方法，其特征在于：步骤3.4中当列车满足连续站停准后，联合代理将停止工作，直至监测到列车出现未停准情况，代理自动重启。
列车自动驾驶系统参数自学习双Q表联合代理建立方法
技术领域
[0001] 本发明涉及一种可用于实现列车自动驾驶系统参数自学习的双Q表联合代理的建立方法，属于自动驾驶与强化学习领域。
背景技术
[0002] 列车自动驾驶系统(Automatic Train Operation,ATO)是轨道列车自动运行的控制系统，可依据列车控制系统(Automatic Train Control,ATC)或列车自动保护系统(Automatic Train Protection,ATP)等信号系统所提供的数据及信息实时调节列车速度，使列车自动化完成发车、提速、巡航、减速、停靠等过程。ATO可以减少司机的工作量，某种程度上减少人为失误，同时能尽可能减少牵引、惰行、制动之间的切换频率，提升运行效率，控制列车进站并精准停车，并提高运行时刻表准确性。
[0003] ATO为实现对列车速度的有效控制，常采用多种速度控制方法，其中以策略控速、PID(比例‑积分‑微分)算法、速度追赶等算法为主，以适应不同阶段下列车的控速需求及限制条件。
[0004] 其中，策略控速的核心思想是，根据当前列车状态，按照预设的控车策略规则进行速度控制，例如，在列车发车阶段，接收到可发车命令后，在限速允许的前提下，直接将控车级位推至最大牵引输出级位，以最大效率进行列车提速，同理，也可按照一定的切换速度逐渐将控车级位推至最大牵引输出级位，牺牲效率提升舒适度，直至列车达到巡航速度。
[0005] PID算法则为更常见的速度控制算法，列车控速过程中根据阶段需求，可能会采用Fuzz PID、PI、PD等变体，其核心思想是根据列车当前实际速度与目标速度的差值、差价积分、差值微分，按比例进行计算后输出此时最佳的控车级位，目标是减少差值，使列车实际速度尽可能的接近目标速度，例如，在巡航阶段，当列车实际速度相比目标巡航速度越来越小时，将输出牵引级位进行提速，而当速度接近或超过目标巡航速度时，将进行惰行，节能且平稳的进行高速巡航。而具体的输出级位及切换时机，则根据PID控制器中各个成分的增益进行调定。
[0006] 速度追赶算法则更适用于处理具有高延时特性且精确度需求较高的速度控制阶段，可根据预估的延时时间，预判加速度实际的产生时刻及作用效果，以输出最佳的控车级位，并每周期循环计算，以精确贴合目标速度曲线。
[0007] 除上述提到的控速策略外，列车速度控制过程中还采用了其它若干种辅助、备用级位计算算法或策略，以实现复杂环境下列车的稳定控速、效率最大及精确停车等目标。因此，由于会使用到多种控速策略与算法进行联合工作，策略或算法的切换时机则是使该过程协调有序进行的重点。
[0008] 现有ATO算法中存在多个上述的策略转换点，策略转换点由转换参数控制。部分转换参数可进行固化设置，但其余转换参数则需要根据列车型号、列车性能、线路特性、运行要求等属性进行车车调整。此类参数的调整目前仍需人工干预，逐辆列车进行优化设置，其优化过程一般为，采用预设转换参数进行列车运行测试，完成一站或若干站的运行后，根据实际运行情况及速度曲线，判断转换参数效果，根据效果调整参数，直至列车运行效果满足所需。同时，该组转换参数可能随着列车性能变化，因此需要定期重调。
[0009] 评价ATO控制下列车运行效果的关键指标包括舒适度及停准率，舒适度包括对运行效率、冲击率(加速度的变化率)、惰行时长、急刹情况等描述，停准率则是列车是否能在ATO控制下精确的停靠在站台指定停车点，保证车厢门与屏蔽门或等候线对齐，确保乘客正常上下车，其典型的允许误差范围为±30cm。因此，在列车上线运行前，需要人工逐车对转换参数进行调整，直至ATO可在满足舒适度及停准率的条件下控制列车正常运营。若列车运营过程中，伴随设备老化、更换等状况的发生，原有转换参数无法满足上述条件，则需要人工进行再次修正优化。
[0010] 综上所述，ATO系统中的转换参数是协调多种控速策略相互配合的关键，对其数值的配置将决定列车运行是否能满足舒适度及停准率要求。而当前通常采用人工的方式逐车、逐年(定期)对多个关键的转换参数进行调整，诸多的列车型号、线路，不仅对工作人员的调参经验、能力提出了较高要求，同时也产生了大量的人工工作量，因此迫切需求一种在不影响现有ATO系统功能与结构的条件下，自动化调优转换参数的方法，以解决上述问题。
发明内容
[0011] 本发明的目的是，在不影响现有ATO系统功能与结构的条件下，利用强化学习方法，建立转换参数自学习代理，用以嵌入到ATO系统内，针对特定列车、特定场景进行自动化的转换参数调优，提出了一种针对自动驾驶系统参数自学习的双Q表联合代理建立方法。
[0012] 本发明的设计原理为：首先，利用列车性能数据、电子地图、列车特性、专家知识建立列车运行仿真环境，可正确响应转换参数的改变所带来的运行效果变化，且针对特定一组转换参数，其仿真结果应与真实列车运行结果所相似；其次，基于Q‑Learning强化学习方法，以舒适度和停准率两个条件为训练目标，训练两个参数调整代理，积累正确的调参经验，分别能针对舒适度及停准率给出向好的参数调整策略；最后，建立联合策略，协调两个参数调整代理相互配合工作，直至实现对列车ATO系统转换参数的优化，使其可在满足运行要求的情况下完成线路运营。
[0013] 本发明的技术方案是通过如下步骤实现的：
[0014] 步骤1，建立列车运行仿真环境。
[0015] 步骤1.1，基于电子地图数据、列车理论性能参数及理论响应延时，利用单质点受力模型建立列车运动学模型及仿真系统框架。
[0016] 步骤1.2，将现有ATO系统转化封装为控制库，由仿真系统向控制库发送列车速度、地图位置，控制库将根据与真实列车相同的控车逻辑、策略、算法计算控车输出级位levelt，控车输出级位包括牵引、惰行、制动三类，根据级位划分数量进行数值输出，以20级控车级位为例，控车输出级位将包含‑20级至+20级之间的所有整数级位。其中0级代表惰行，‑20级代表最大制动输出，+20级代表最大牵引输出。
[0017] 步骤1.3，仿真系统根据控车级位，根据响应延时、列车速度、所处位置的坡度、预设噪声水平、电空制动转换特性等仿真细节计算实际加速度。
[0018] 步骤1.3.1，根据预设响应延时对控车级位序列进行延时处理，延时通常以周期形式处理，每周期可按0.1s划分，10周期延时即为1s延时。若预设响应延时为10周期，则当前控车级位将在10周期后产生作用，由此更新控车作用级位序列，并将控车作用级位序列中的当前周期级位(例中为10周期前的控车级位)作为实际作用级位，用于后续计算。
[0019] 步骤1.3.2，由列车的出厂参数及动调数据建立理论性能参数表，理论性能参数表由速度区间、控车级位对应的加速度构成，根据当前列车速度及上一步中获取的实际作用级位，查表获得当前周期理论加速度a1。
[0020] 步骤1.3.3，由电子地图中的当前位置坡度信息，换算为车辆对应的加速，与当前周期理论加速度a1相加获得预处理加速度a2。
[0021] 步骤1.3.4，在预处理加速度的基础上添加加速度噪声波动，高速情况下加速度波动为1％左右，同时在此步骤中，可针对控车库精度问题进行惰行补偿等操作，弥补低加速度被精度换转消除问题，获得预处理加速度a3。
[0022] 步骤1.3.5，列车高速运行时，减速采用电制动，而低速阶段，将转换为空气制动，该转换过程被称为电空转换。由于该过程往往发生在持续制动期中，因此电制动从完全作用直至完全失效、空气制动从无作用直至完全作用需相互匹配，若未能完全匹配则将产生电空转换期，表现为制动力的不稳定变化，其形式如附图2中所示。发生时间通常在8km/h至2km/h之间，转换过程持续2～4km/h，由于电制动的提早、延后、过快、过缓衰退，以及空气制动的提早、延后、过快、过缓增益，将产生不同形式的电空转换表现，总体可表现为制动响应比预期大或小，实际情况中的具体表现难以估计，因此通常采用惰行策略度过该阶段，以避免制动波动。仿真系统根据该特性，根据a3生成电制动加速度aelc及空气制动aair，并分别进行随机衰退、增益，叠加后获得预处理加速度a4。
[0023] 步骤1.3.6，对加速度a4进行精度修正及其它相关细节处理，获得当前周期的实际加速度at。
[0024] 步骤1.4，选取电子地图中的特定站，初始化位置信息等数据，开始循环利用控车库输出级位level、计算实际加速度at、根据物理模型计算速度vt更新位置St，直至列车完成特定站的运行直至停靠到下一站台，总体流程可见附图3中。
[0025] 步骤2，训练参数自学习代理，总体流程见附图4。
[0026] 步骤2.1，设置训练超参数，包括训练模式、任务选择、代理训练次数(外循环最大次数、内循环最大次数)、代理测试次数、仿真环境配置等。
[0027] 步骤2.2，代理初始化，即Q表初始化，调参代理训练过程主要就是对Q表进行训练，Q表维度为 其中m为状态数量，n为动作数量。由于存在舒适度及停准率两个调参目标，因此分别建立两个调参代理，并分别进行训练。其中，状态是指特定站运行结束后，根据列车仿真运行环境所仿真得出的运行结果，包括停车误差、控速策略转换时机下的列车速度表现、实际速度曲线与理想速度曲线差异、制动表现等在内的实际特征与抽象特征经过离散区间化并进行组合，构成 个状态，其中feati代表第i个特征的区间数量，j代表总计的特征数量；动作则是指对转换参数的调整行为，每个动作仅对一个转换参数进行定幅调整，包括大幅增加、大幅减小、小幅增加、小幅减小、保持不变等行为，动作维度则由需调整的转换参数个数与动作种类的乘积决定。
[0028] 步骤2.3，代理执行外循环训练。
[0029] 步骤2.3.1，外循环训练中首先对训练超参数进行自更新，主要包括学习率alpha自更新、探索率epsilon自更新。学习率是指在训练Q表时控制Q值更新的速率，其值越大Q值更新速率越快，其值越小Q值更新易趋向稳定。学习率自更新流程为从指定初始值(默认值为1)开始随训练次数的增加而降低，更新公式为：alpha＝alpha/alpha_decline。探索率是指调参动作依据Q表选择的概率，其值越大则代表依据Q表选择的次数越多，其值越小动作代表依据随机选择方法的次数越多。动作选择概率自更新流程为从指定初始值开始随训练次数的增加而线性增加，直到其到达其设置上限为止。
[0030] 步骤2.3.2，代理执行内循环训练。
[0031] 步骤2.3.2.1，内循环中首先初始化一辆列车，通过设置运行参数和模式，对列车全局的性能参数表和运行状态进行调整以实现单辆列车参数和状态的初始化。
[0032] 步骤2.3.2.2，针对该列车，进行转换参数的调整动作抽取并执行，在获取当前列车状态current_state(列车初始化后预置为0，随后根据单站仿真结果进行更新)后进行动作抽取，根据选取的动作对转换参数进行调整，之后继续运行仿真，获取列车下一个状态next_state。动作抽取以高奖励优先、随机选择两种模式进行，通过探索率epsilon来随机确定动作选择模式，高奖励优先模式被挑选的概率为epsilon，随机选择模式被挑选的概率为1‑epsilon。高奖励优先模式将选取此时Q表中，current_state对应行内具有最大奖励值的动作并执行，随机选择模式则以等概率随机抽取动作并执行。
[0033] 步骤2.3.2.3，接下来，将对转换参数进行过调整的仿真列车进行运行仿真。运行仿真是基于配置的电子地图、初始化后的特定列车，进行单站或全线路(并行)运行仿真，并提取出列车在某组状态转换参数下的停车表现，承担调参代理在强化学习过程中的环境反馈模块。运行仿真采用单点物理模型，对单站的完整运行过程进行仿真，其中，在进站阶段，对低速制动力、低速制动延时、电空转换等过程进行重点模拟，增加停车阶段仿真的真实性，以更好训练调参代理的调参能力。初始化过程包括设置本次运行的状态机转换参数及根据电空转换配置生成电空转换模式，并开始列车运行仿真循环，从发车开始，直至列车停稳，最后对运行数据进行合法性判断和特征整定，完成单站运行仿真，该过程可并行执行，详细流程见附图5。
[0034] 步骤2.3.2.4，完成运行仿真后，将对状态和奖励计算，用于评估在当前状态下，选择的动作，所引发的下一状态改变及该动作的优劣程度，该优劣程度使用“奖励”进行描述，其中，针对舒适度的奖励采用仿真运行曲线与理想运行曲线误差面积的表征指标进行表示。根据运行仿真的输出特征，随机挑选停车误差不满足精准条件的站计算下一状态，同时结合全线路停靠表现，计算宏观化奖励，用以更新Q表中当前状态、当前行为所对应位置的奖励值，并循环直至全站精准停车，完成一次内循环更新。
[0035] 步骤2.4，提取出分别针对舒适度和停准率目标训练完成后的Q表，获得两个训练参数自学习Q表，进行固化。
[0036] 步骤3，双Q表联合代理工作。
[0037] 步骤3.1，将双Q表嵌入到当前车载ATO系统内，并为其建立新的配置属性及相关数据交互接口，主要用于ATO将列车数据传递给联合代理，并由联合代理将调整后的转换参数值回传给ATO系统，从而实现参数自学习。
[0038] 步骤3.2，列车由初始或出厂转换参数开始在ATO全程控车的条件下开始运行，舒适度Q表首先以较高的决定权，以舒适度为首要目标对车辆转换参数进行调节，优化列车运行效率、速度曲线、舒适性等关键指标，并记录舒适度的综合评价值变化记录；同时，停准率Q表也具有稳定的决定权，在优化舒适度的同时，同步优化停准率。
[0039] 步骤3.3，随着舒适度综合评价值达到预设阈值或是趋于平稳，舒适度Q表的决定权逐渐下降直至不再作用，而停准率Q表的决定权维持不变，从而以停准率为主要目标，保证列车可在ATO控制下实现站站停准。
[0040] 步骤3.4，当列车满足连续若干站停准后，联合代理将停止工作，直至监测到列车出现未停准情况，代理将自动重启，优化转换参数，该类重启情况通常由于列车设备老化直至质变或是装置更换引发。
[0041] 有益效果
[0042] 本发明建立的列车自动驾驶系统参数自学习双Q表联合代理可在列车运行过车中，自主观测运行结果，向ATO系统发送转换参数调整指令，ATO系统可在该指令下，持续优化转化参数，直至实现高效、精准、舒适、稳定的列车自动驾驶。
[0043] 相比于原有人工调参方法，本发明可以大幅减少人工劳动成本，在仿真环境下针对特定线路、特定车型快速积累调参经验，模仿专家的知识积累过程。
[0044] 本发明同时可用于不限于转换参数的其它列车控制参数的调整、优化、获取等任务中，包括获取更好的固定参数等。
附图说明
[0045] 图1为参数调整代理建立及应用总体流程图。
[0046] 图2为电空转换过程描述示意图。
[0047] 图3为列车运行仿真流程图。
[0048] 图4为参数调整代理训练流程图。
[0049] 图5为参数调整代理内循环训练运行仿真流程图。
具体实施方式
[0050] 为了更好的说明本发明的目的和优点，下面结合实例对本发明方法的实施方式做进一步详细说明。
[0051] 实验于地铁某线实车环境进行，在非运营时间将本发明中的参数自学习双Q表联合代理嵌入到ATO系统模块中，从运行效果不佳的转换参数作为初始条件开始运行列车，并在运行过程中，观察自学习代理对转换参数的调整行为及列车运行表现，重点观测停准率指标，并在优化完成时，观测运行曲线，比对运行曲线与理想运行曲线的贴合度，由此对舒适度、效率等指标进行评定。
[0052] 本次实验的具体流程包括：
[0053] 步骤1，在离线环境下，采用发明中提到的代理建立方法，配合地铁某线的电子地图，及线上运行列车的列车参数等数据，完成代理训练。
[0054] 步骤2，将双代理知识固化为策略文件，根据代理联合工作策略开发嵌入式代码，与ATO建立接口交互，保证代理模块工作正常。
[0055] 步骤3，将嵌入代理的自学习ATO装载于实车，配置运行状态不佳的转换参数，在线路上启动列车，在ATO控制下运行。
[0056] 步骤4，逐站观测自学习模块对转换参数的调整优化表现，直至ATO转换参数达到可良好控车的条件，结束测试并记录数据进行分析。
[0057] 测试结果：参数自学习双Q表联合代理在真实线路、列车、设备上工作正常，可对转换参数进行自动化调整，全过程无需人类专家干预，运行5站后对转换参数进行了正确的调整，使列车运行满足要求，实现了良好的自学习效果。
[0058] 以上所述的具体描述，对发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
