本发明公开了一种限制性骑行路径规划装置及方法，涉及数据分析领域，包括主机电路和从机电路，主机电路和从机电路通过无线通信连接；主机电路包括主机控制器、定位接收器、记录设备，主机控制器分别与定位接收器和记录设备连接；从机电路包括从机控制器、交互输入设备、交互显示设备，从机控制器分别与交互输入设备和交互显示设备连接；定位接收器用于定位帧数据中的经度数据和纬度数据，并对各个路径点进行标记；记录设备用于记录和存储位置数据；交互输入设备用于输入骑行目的地；交互显示设备用于显示用户的实时位置和骑行路径。根据用户的实际骑行需求选择出最适合用户的路径，适用场景多。
1.一种限制性骑行路径规划方法，其特征在于，限制性骑行路径规划装置包括：主机电路和从机电路，所述主机电路和所述从机电路通过无线通信连接；所述主机电路包括主机控制器、定位接收器、记录设备，所述主机控制器分别与所述定位接收器和所述记录设备连接；所述从机电路包括从机控制器、交互输入设备、交互显示设备，所述从机控制器分别与所述交互输入设备和所述交互显示设备连接；所述定位接收器用于定位帧数据中的经度数据和纬度数据，并对各个路径点进行标记；所述记录设备用于记录和存储位置数据；所述交互输入设备用于输入骑行目的地；所述交互显示设备用于显示用户的实时位置和骑行路径；
确定预定区域内的各个路径点，所述路径点为至少两条道路的交汇点；
采集各个路径点的经纬度数据，记录各个路径点的海拔高度，对每个路径点预设风景评分，将每个路径点的经纬度数据、海拔高度、风景评分对应存储；
接收用户选择的起点和终点，对于每个行驶路段，获取同时间段内GPS数据中其他骑行者的所有骑行路径，确定出起点与终点之间的所有待选路径集合，所述待选路径集合包括有向路段集、每条待选路径的最大海拔差集和每条待选路径的综合风景评分集；
接收用户选择的骑行模式，所述骑行模式包括最短距离模式、风景最优模式、锻炼身体模式；
若用户选择的骑行模式为所述最短距离模式，则通过约束深度强化学习算法确定出对骑行模式对应的目标路径，包括：待选路径集合W中包括所有路径点组成的路径点集E和有向路径集A，用户的起点位置ei为路径点集E中的第i个路径点，将用户的起点位置ei的状态特征表示为s(ei)＝[xi,yi,xD,yD]，xi表示起点的经度，yi表示起点的纬度，xD表示终点的经度，yD表示终点的纬度；起点位置ei到终点的骑行时间用Q(s(ei))表示，将起点位置ei的状态特征s(ei)输入BP神经网络得到起点到终点的骑行时间Q(s(ei))；
用户在待选路径集合G中所在路径点ei+n∈E，ei+n表示在起点位置ei后的第n个路径点，与起点位置ei相连接的所有路段ai,j组成起点位置ei的有向路径集A(ei)；奖励函数r(ei,ai,i+1)表示用户在起点位置ei选择路段ai,i+1的骑行时间Q(s(ei))；根据骑行经验执行贪婪策略π和环境交互得到由所在路径点、选择的相邻路段和骑行时间组成的求解：hi:k＝ei,ai,i+1,r(ei,ai,i+1),ei+1,ai+1,i+2,...,ek，ek表示终点之前所经过的最后一个路口，即路径点集E中的第k个路径点；
当完成一次求解，Q值发生更新，将求解中用户在起点位置ei以及之后经过的每个路径点表示为[s(ei),ai,i+1,r(ei,ai,i+1),s(ei+1)]存储于求解记忆P中；当每次完成成功求解时，计算成功求解中每个起点位置ei到终点位置的累积折减收益G(hi:k)；定义节点记忆N＝{[s(ei),q(ei)|ei∈E,q(ei)＝minG(hi:k)]}，二元组s(ei)，q(ei)存储起点位置ei的状态特征和起点到终点的最短骑行时间；
采用深度Q-learning算法，神经网路的训练通过最小化起点位置ei到终点的最短骑行时间q(ei)和起点位置ei到终点的骑行时间估计值Q(s(ei))误差平方和，即其中θ为神经网络权重系数；
采用ε贪婪策略，以ε概率选择当前最佳策略，1-ε概率随机选择策略，基于深度Q-learning算法，结合待选路径集合W，选择对应最短距离模式的路径，具体步骤包括：输入W＝(E,A)；
初始化节点记忆N，循环执行初始化Q值及神经网络权重系数θ，嵌套循环1至k，在起点位置ei用户满足交通规则时，采用ε贪婪策略选择和起点位置相连的路段ai,i+1；
将选择记录[s(ei),ai,i+1,r(ei,ai,i+1)]加入求解，并将记录[s(ei),ai,i+1,r(ei,ai,i+1),s(ei+1)]存储于求解记忆P，直到最后一个路径点ek和终点eD重合结束循环；
计算成功从起点到终点的路径中每个起点位置ei到终点的累积折减收益G(hi:k)，并更新节点记忆N；
使用梯度下降更新θ，以最小化[(q(ei)-Q(s(ei),θ))]2，输出贪婪策略ai,i+1＝π(ei)，得到所选择的一个路段，到达终点后，所有选择的路段组成的路径即与最短距离模式对应的路径；
若用户选择的骑行模式为所述风景最优模式，则通过约束深度强化学习算法确定出对骑行模式对应的目标路径，包括：根据骑行经验设定风景评分初始值g0，待选路径集合W中包括所有路径点组成的路径点集E、有向路径集A、每条待选路径的综合风景评分集g，用户的起点位置ei为路径点集E中的第i个路径点，将用户的起点位置ei的状态特征表示为s(ei)＝[xi,yi,xD,yD]，xi表示起点的经度，yi表示起点的纬度，xD表示终点的经度，yD表示终点的纬度；起点位置ei到终点的骑行时间用Q(s(ei))表示，将起点位置ei的状态特征s(ei)输入BP神经网络得到起点到终点的骑行时间Q(s(ei))；
用户在待选路径集合G中所在路径点ei+n∈E，ei+n表示在起点位置ei后的第n个路径点，与起点位置ei相连接的所有路段ai,j组成起点位置ei的有向路径集A(ei)；奖励函数r(ei,ai,i+1)表示用户在起点位置ei选择路段ai,i+1的骑行时间Q(s(ei))；根据骑行经验执行贪婪策略π和环境交互得到由所在路径点、选择的相邻路段和骑行时间组成的求解：hi:k＝ei,ai,i+1,r(ei,ai,i+1),ei+1,ai+1,i+2,...,ek，ek表示终点之前所经过的最后一个路口，即路径点集E中的第k个路径点；
当完成一次求解，Q值发生更新，将求解中用户在起点位置ei以及之后经过的每个路径点表示为[s(ei),ai,i+1,r(ei,ai,i+1),s(ei+1)]存储于求解记忆P中；当每次完成成功求解时，计算成功求解中每个起点位置ei到终点位置的累积折减收益G(hi:k)；定义节点记忆N＝{[s(ei),q(ei)|ei∈E,q(ei)＝minG(hi:k)]}，二元组s(ei)，q(ei)存储起点位置ei的状态特征和起点到终点的最短骑行时间；
采用深度Q-learning算法，神经网路的训练通过最小化起点位置ei到终点的最短骑行时间q(ei)和起点位置ei到终点的骑行时间估计值Q(s(ei))误差平方和，即其中θ为神经网络权重系数；
采用ε贪婪策略，以ε概率选择当前最佳策略，1-ε概率随机选择策略，基于深度Q-learning算法，结合待选路径集合W，选择对应风景最优模式的路径，具体步骤包括：输入W＝(E,A,g)；
初始化节点记忆N，循环执行初始化Q值及神经网络权重系数θ，嵌套循环1至k，在起点位置ei用户满足交通规则时，采用ε贪婪策略选择和起点位置相连的路段ai,i+1；
将选择记录[s(ei),ai,i+1,r(ei,ai,i+1)]加入求解，并将记录[s(ei),ai,i+1,r(ei,ai,i+1),s(ei+1)]存储于求解记忆P，直到最后一个路径点ek和终点eD重合结束循环；
计算成功从起点到终点的路径中每个起点位置ei到终点的累积折减收益G(hi:k)，并更新节点记忆N；
使用梯度下降更新θ，以最小化 输出贪婪策略ai,i+1＝π(ei)，得到所选择的一个路段，到达终点后，所有选择的路段组成的路径即与风景最优模式对应的路径；
若用户选择的骑行模式为所述锻炼身体模式，则通过约束深度强化学习算法确定出对骑行模式对应的目标路径，包括：设每条待选路径的最低点el海拔为Zl，最高点eh海拔为Zh，海拔差最大值为z，待选路径集合W中包括所有路径点组成的路径点集E、有向路径集A、每条待选路径的最大海拔差集Z，用户的起点位置ei为路径点集E中的第i个路径点，将用户的起点位置ei的状态特征表示为s(ei)＝[xi,yi,xD,yD]，xi表示起点的经度，yi表示起点的纬度，xD表示终点的经度，yD表示终点的纬度；起点位置ei到终点的骑行时间用Q(s(ei))表示，将起点位置ei的状态特征s(ei)输入BP神经网络得到起点到终点的骑行时间Q(s(ei))；
用户在待选路径集合G中所在路径点ei+n∈E，ei+n表示在起点位置ei后的第n个路径点，与起点位置ei相连接的所有路段ai,j组成起点位置ei的有向路径集A(ei)；奖励函数r(ei,ai,i+1)表示用户在起点位置ei选择路段ai,i+1的骑行时间Q(s(ei))；根据骑行经验执行贪婪策略π和环境交互得到由所在路径点、选择的相邻路段和骑行时间组成的求解：hi:k＝ei,ai,i+1,r(ei,ai,i+1),ei+1,ai+1,i+2,...,ek，ek表示终点之前所经过的最后一个路口，即路径点集E中的第k个路径点；
当完成一次求解，Q值发生更新，将求解中用户在起点位置ei以及之后经过的每个路径点表示为[s(ei),ai,i+1,r(ei,ai,i+1),s(ei+1)]存储于求解记忆P中；当每次完成成功求解时，计算成功求解中每个起点位置ei到终点位置的累积折减收益G(hi:k)；定义节点记忆N＝{[s(ei),q(ei)|ei∈E,q(ei)＝minG(hi:k)]}，二元组s(ei)，q(ei)存储起点位置ei的状态特征和起点到终点的最短骑行时间；
采用深度Q-learning算法，神经网路的训练通过最小化起点位置ei到终点的最短骑行时间q(ei)和起点位置ei到终点的骑行时间估计值Q(s(ei))误差平方和，即其中θ为神经网络权重系数；
采用ε贪婪策略，以ε概率选择当前最佳策略，1-ε概率随机选择策略，基于深度Q-learning算法，结合待选路径集合W，选择对应锻炼身体模式的路径，具体步骤包括：输入W＝(E,A,Z)；
初始化节点记忆N，循环执行初始化Q值及神经网络权重系数θ，嵌套循环1至k，在起点位置ei用户满足交通规则时，采用ε贪婪策略选择和起点位置相连的路段ai,i+1；
将选择记录[s(ei),ai,i+1,r(ei,ai,i+1)]加入求解，并将记录[s(ei),ai,i+1,r(ei,ai,i+1),s(ei+1)]存储于求解记忆P，直到最后一个路径点ek和终点eD重合结束循环；
计算成功从起点到终点的路径中每个起点位置ei到终点的累积折减收益G(hi:k)，并更新节点记忆N；
使用梯度下降更新θ，以最小化 输出贪婪策略ai,i+1＝π(ei)，得到所
选择的一个路段，到达终点后，所有选择的路段组成的路径即与锻炼身体模式对应的路径。
一种限制性骑行路径规划装置及方法
技术领域
[0001] 本发明涉及数据分析领域，尤其是一种限制性骑行路径规划装置及方法。
背景技术
[0002] 随着共享单车的兴起，骑行运动方式渐渐推广，骑行市场被逐步开发出来。 作为全球八大无线产业之一，GPS为代表的导航定位服务占领了广大市场，GPS 因为全天、高精、高效等优势及其导航追踪、精准授时等各方面的实用功能， 已经逐步应用到各个领域。
[0003] 现有的导航设备主要是根据行驶时间和出行方式来推荐路径，当用户确定 出发地和目的地后，系统会根据出行方式生成路径和相应的时间。然而，面向 骑行的导航设备比较少见，主要原因包括：投入成本巨大而盈利有限，单车上 的导航设备使用场景单一，通常只涉及短途通勤场景，根据起点和终点规划最 短路径。
发明内容
[0004] 本发明针对上述问题及技术需求，提出了一种限制性骑行路径规划装置及 方法。
[0005] 本发明的技术方案如下：
[0006] 第一方面，一种限制性骑行路径规划装置，包括：主机电路和从机电路， 所述主机电路和所述从机电路通过无线通信连接；所述主机电路包括主机控制 器、定位接收器、记录设备，所述主机控制器分别与所述定位接收器和所述记 录设备连接；所述从机电路包括从机控制器、交互输入设备、交互显示设备， 所述从机控制器分别与所述交互输入设备和所述交互显示设备连接；
[0007] 所述定位接收器用于定位帧数据中的经度数据和纬度数据，并对各个路径 点进行标记；
[0008] 所述记录设备用于记录和存储位置数据；
[0009] 所述交互输入设备用于输入骑行目的地；
[0010] 所述交互显示设备用于显示用户的实时位置和骑行路径。
[0011] 其进一步的技术方案为：所述主机控制器和所述从机控制器采用 STM32F103VET6单片机，所述定位接收器是UBLOX-NEO-6M模组和 STM32F103VET6上自带的AT24C02 EEPROM模块，其中，UBLOX-NEO-6M 模组作为GPS信号分析处理模组，AT24C02存储GPS配置信息；所述记录设 备采用Micro SD卡；所述交互输入设备采用按键模块；所述交互显示设备采用 带ILI9341控制器的TFL液晶屏。
[0012] 其进一步的技术方案为：所述主机电路还包括第一无线通信模块，所述第 一无线通信模块与所述主机控制器连接，所述从机电路还包括第二无线通信模 块，所述第二无线通信模块与所述从机控制器连接；所述第一无线通信模块和 所述第二无线通信模块用于实现所述主机电路和所述从机电路之间的无线通 信。
[0013] 其进一步的技术方案为：所述第一无线通信模块和所述第二无线通信模块 采用STM32F103VET6单片机上自带的ESP8266 WiFi模块。
[0014] 第二方面，一种限制性骑行路径规划方法，应用于第一方面所述的限制性 骑行路径规划装置中，所述方法包括：
[0015] 确定预定区域内的各个路径点，所述路径点为至少两条道路的交汇点；
[0016] 采集各个路径点的经纬度数据，记录各个路径点的海拔高度，对每个路径 点预设风景评分，将每个路径点的经纬度数据、海拔高度、风景评分对应存储；
[0017] 接收用户选择的起点和终点，对于每个行驶路段，获取同时间段内GPS数 据中其他骑行者的所有骑行路径，确定出起点与终点之间的所有待选路径集合， 所述待选路径集合包括有向路段集、每条待选路径的最大海拔差集和每条待选 路径的综合风景评分集；
[0018] 接收用户选择的骑行模式，所述骑行模式包括最短距离模式、风景最优模 式、锻炼身体模式；
[0019] 根据用户选择的骑行模式，通过约束深度强化学习算法确定出对骑行模式 对应的目标路径。
[0020] 其进一步的技术方案为：所述骑行模式为最短距离模式，所述通过约束深 度强化学习算法确定出对骑行模式对应的目标路径，包括：
[0021] 待选路径集合W中包括所有路径点组成的路径点集E和有向路径集A，用 户的起点位置ei为路径点集E中的第i个路径点，将用户的起点位置ei的状态特 征表示为s(ei)＝[xi,yi,xD,yD]，xi表示起点的经度，yi表示起点的纬度，xD表示终 点的经度，yD表示终点的纬度；起点位置ei到终点的骑行时间用Q(s(ei))表示， 将起点位置ei的状态特征s(ei)输入BP神经网络得到起点到终点的骑行时间 Q(s(ei))；
[0022] 用户在待选路径集合G中所在路径点ei+n∈E，ei+n表示在起点位置ei后的第 n个路径点，与起点位置ei相连接的所有路段ai,j组成起点位置ei的有向路径集 A(ei)；奖励函数r(ei,ai,i+1)表示用户在起点位置ei选择路段ai,i+1的骑行时间Q(s(ei))； 根据骑行经验执行贪婪策略π和环境交互得到由所在路径点、选择的相邻路段 和骑行时间组成的求解：hi:k＝ei,ai,i+1,r(ei,ai,i+1),ei+1,ai+1,i+2,...,ek，ek表示终点之前所经 过的最后一个路口，即路径点集E中的第k个路径点；
[0023] 当完成一次求解，Q值发生更新，将求解中用户在起点位置ei以及之后经 过的每个路径点表示为[s(ei),ai,i+1,r(ei,ai,i+1),s(ei+1)]存储于求解记忆P中；当每次完 成成功求解时，计算成功求解中每个起点位置ei到终点位置的累积折减收益 G(hi:k)；定义节点记忆N＝{[s(ei),q(ei)|ei∈E,q(ei)＝minG(hi:k)]}，二元组s(ei)，q(ei)存 储起点位置ei的状态特征和起点到终点的最短骑行时间；
[0024] 采用深度Q-learning算法，神经网路的训练通过最小化起点位置ei到终点 的最短骑行时间q(ei)和起点位置ei到终点的骑行时间估计值Q(s(ei))误差平方 和，即其中θ为神经网络权重系数；
[0025] 采用ε贪婪策略，以ε概率选择当前最佳策略，1-ε概率随机选择策略，基 于深度Q-learning算法，结合待选路径集合W，选择对应最短距离模式的路径， 具体步骤包括：
[0026] 输入W＝(E,A)；
[0027] 初始化节点记忆N，循环执行初始化Q值及神经网络权重系数θ，嵌套循 环1至k，在起点位置ei用户满足交通规则时，采用ε贪婪策略选择和起点位置 相连的路段ai,i+1；
[0028] 将选择记录[s(ei),ai,i+1,r(ei,ai,i+1)]加入求解，并将记录[s(ei),ai,i+1,r(ei,ai,i+1),s(ei+1)] 存储于求解记忆P，直到最后一个路径点ek和终点eD重合结束循环；
[0029] 计算成功从起点到终点的路径中每个起点位置ei到终点的累积折减收益 G(hi:k)，并更新节点记忆N；
[0030] 使用梯度下降更新θ，以最小化[(q(ei)-Q(s(ei),θ))]2，输出贪婪策略 ai,i+1＝π(ei)，得到所选择的一个路段，到达终点后，所有选择的路段组成的路径 即与最短距离模式对应的路径。
[0031] 其进一步的技术方案为：所述骑行模式为风景最优模式，所述通过约束深 度强化学习算法确定出对骑行模式对应的目标路径，包括：
[0032] 根据骑行经验设定风景评分初始值g0，待选路径集合W中包括所有路径点 组成的路径点集E、有向路径集A、每条待选路径的综合风景评分集g，用户 的起点位置ei为路径点集E中的第i个路径点，将用户的起点位置ei的状态特征 表示为s(ei)＝[xi,yi,xD,yD]，xi表示起点的经度，yi表示起点的纬度，xD表示终点 的经度，yD表示终点的纬度；起点位置ei到终点的骑行时间用Q(s(ei))表示，将 起点位置ei的状态特征s(ei)输入BP神经网络得到起点到终点的骑行时间 Q(s(ei))；
[0033] 用户在待选路径集合G中所在路径点ei+n∈E，ei+n表示在起点位置ei后的第 n个路径点，与起点位置ei相连接的所有路段ai,j组成起点位置ei的有向路径集 A(ei)；奖励函数r(ei,ai,i+1)表示用户在起点位置ei选择路段ai,i+1的骑行时间Q(s(ei))； 根据骑行经验执行贪婪策略π和环境交互得到由所在路径点、选择的相邻路段 和骑行时间组成的求解：hi:k＝ei,ai,i+1,r(ei,ai,i+1),ei+1,ai+1,i+2,...,ek，ek表示终点之前所经 过的最后一个路口，即路径点集E中的第k个路径点；
[0034] 当完成一次求解，Q值发生更新，将求解中用户在起点位置ei以及之后经 过的每个路径点表示为[s(ei),ai,i+1,r(ei,ai,i+1),s(ei+1)]存储于求解记忆P中；当每次完 成成功求解时，计算成功求解中每个起点位置ei到终点位置的累积折减收益 G(hi:k)；定义节点记忆N＝{[s(ei),q(ei)|ei∈E,q(ei)＝minG(hi:k)]}，二元组s(ei)，q(ei)存 储起点位置ei的状态特征和起点到终点的最短骑行时间；
[0035] 采用深度Q-learning算法，神经网路的训练通过最小化起点位置ei到终点 的最短骑行时间q(ei)和起点位置ei到终点的骑行时间估计值Q(s(ei))误差平方 和，即其中θ为神经网络权重系数；
[0036] 采用ε贪婪策略，以ε概率选择当前最佳策略，1-ε概率随机选择策略，基 于深度Q-learning算法，结合待选路径集合W，选择对应风景最优模式的路径， 具体步骤包括：
[0037] 输入W＝(E,A,g)；
[0038] 初始化节点记忆N，循环执行初始化Q值及神经网络权重系数θ，嵌套循 环1至k，在起点位置ei用户满足交通规则时，采用ε贪婪策略选择和起点位置 相连的路段ai,i+1；
[0039] 将选择记录[s(ei),ai,i+1,r(ei,ai,i+1)]加入求解，并将记录[s(ei),ai,i+1,r(ei,ai,i+1),s(ei+1)] 存储于求解记忆P，直到最后一个路径点ek和终点eD重合结束循环；
[0040] 计算成功从起点到终点的路径中每个起点位置ei到终点的累积折减收益 G(hi:k)，并更新节点记忆N；
[0041] 使用梯度下降更新θ，以最小化 输出贪婪策略ai,i+1＝π(ei)，得 到所选择的一个路段，到达终点后，所有选择的路段组成的路径即与风景最优 模式对应的路径。
[0042] 其进一步的技术方案为：所述骑行模式为锻炼身体模式，所述通过约束深 度强化学习算法确定出对骑行模式对应的目标路径，包括：
[0043] 设每条待选路径的最低点el海拔为Zl，最高点eh海拔为Zh，海拔差最大值 为z，待选路径集合W中包括所有路径点组成的路径点集E、有向路径集A、 每条待选路径的最大海拔差集Z，用户的起点位置ei为路径点集E中的第i个路 径点，将用户的起点位置ei的状态特征表示为s(ei)＝[xi,yi,xD,yD]，xi表示起点的 经度，yi表示起点的纬度，xD表示终点的经度，yD表示终点的纬度；起点位置 ei到终点的骑行时间用Q(s(ei))表示，将起点位置ei的状态特征s(ei)输入BP神经 网络得到起点到终点的骑行时间Q(s(ei))；
[0044] 用户在待选路径集合G中所在路径点ei+n∈E，ei+n表示在起点位置ei后的第 n个路径点，与起点位置ei相连接的所有路段ai,j组成起点位置ei的有向路径集 A(ei)；奖励函数r(ei,ai,i+1)表示用户在起点位置ei选择路段ai,i+1的骑行时间Q(s(ei))； 根据骑行经验执行贪婪策略π和环境交互得到由所在路径点、选择的相邻路段 和骑行时间组成的求解：hi:k＝ei,ai,i+1,r(ei,ai,i+1),ei+1,ai+1,i+2,...,ek，ek表示终点之前所经 过的最后一个路口，即路径点集E中的第k个路径点；
[0045] 当完成一次求解，Q值发生更新，将求解中用户在起点位置ei以及之后经 过的每个路径点表示为[s(ei),ai,i+1,r(ei,ai,i+1),s(ei+1)]存储于求解记忆P中；当每次完 成成功求解时，计算成功求解中每个起点位置ei到终点位置的累积折减收益 G(hi:k)；定义节点记忆N＝{[s(ei),q(ei)|ei∈E,q(ei)＝minG(hi:k)]}，二元组s(ei)，q(ei)存 储起点位置ei的状态特征和起点到终点的最短骑行时间；
[0046] 采用深度Q-learning算法，神经网路的训练通过最小化起点位置ei到终点 的最短骑行时间q(ei)和起点位置ei到终点的骑行时间估计值Q(s(ei))误差平方 和，即其中θ为神经网络权重系数；
[0047] 采用ε贪婪策略，以ε概率选择当前最佳策略，1-ε概率随机选择策略，基 于深度Q-learning算法，结合待选路径集合W，选择对应锻炼身体模式的路径， 具体步骤包括：
[0048] 输入W＝(E,A,Z)；
[0049] 初始化节点记忆N，循环执行初始化Q值及神经网络权重系数θ，嵌套循 环1至k，在起点位置ei用户满足交通规则时，采用ε贪婪策略选择和起点位置 相连的路段ai,i+1；
[0050] 将选择记录[s(ei),ai,i+1,r(ei,ai,i+1)]加入求解，并将记录[s(ei),ai,i+1,r(ei,ai,i+1),s(ei+1)] 存储于求解记忆P，直到最后一个路径点ek和终点eD重合结束循环；
[0051] 计算成功从起点到终点的路径中每个起点位置ei到终点的累积折减收益G(hi:k)，并更新节点记忆N；
[0052] 使用梯度下降更新θ，以最小化 输出贪婪策略ai,i+1＝π(ei)， 得到所选择的一个路段，到达终点后，所有选择的路段组成的路径即与锻炼身 体模式对应的路径。
[0053] 本发明的有益技术效果是：
[0054] 通过GPS定位骑行的实时情况，针对观景、锻炼等不同用户的需求，根据 骑行经验，给出合理的骑行路径，能为骑行者爱好者提供科学的运动指导，根 据用户需求以及骑行经验帮助用户选择骑行方案，统筹兼顾，优化路程，增添 了骑行运动的乐趣，提高骑行体验，有利于推广绿色出行。
[0055] 通过约束深度强化学习(CDRL)算法计算与骑行模式对应的最优路径， 该算法主要由路径约束和深度Q-learning算法两个阶段组成。在第一阶段，生 成起点和终点之间可选择的约束路径，通过隐含的骑行者的经验对可选择的路 段进行限制，在第二阶段，设计深度Q-learning算法学习骑行者经验，根据出 发时间在线计算给定最优路径。该方案在线计算用时短，计算效率高。
附图说明
[0056] 图1是本发明一个实施例提供的限制性骑行路径规划装置的结构示意图。
[0057] 图2是本发明一个实施例提供的限制性骑行路径规划方法的流程图。
[0058] 图3是本发明一个实施例提供的路径点采集数据图。
[0059] 图4是本发明一个实施例提供的路径规划状态转移图。
具体实施方式
[0060] 下面结合附图对本发明的具体实施方式做进一步说明。
[0061] 图1是本发明一个实施例提供的限制性骑行路径规划装置的结构示意图， 如图1所示，该装置可以包括主机电路和从机电路，主机电路和从机电路通过 无线通信连接；主机电路包括主机控制器、定位接收器、记录设备，主机控制 器分别与定位接收器和记录设备连接；从机电路包括从机控制器、交互输入设 备、交互显示设备，从机控制器分别与交互输入设备和交互显示设备连接；定 位接收器用于定位帧数据中的经度数据和纬度数据，并对各个路径点进行标记； 记录设备用于记录和存储位置数据；交互输入设备用于输入骑行目的地；交互 显示设备用于显示用户的实时位置和骑行路径。
[0062] 示例性的，主机控制器和从机控制器采用STM32F103VET6单片机，定位 接收器是UBLOX-NEO-6M模组和STM32F103VET6上自带的AT24C02 EEPROM模块，其中，UBLOX-NEO-6M模组作为GPS信号分析处理模组， AT24C02存储GPS配置信息，保证GPS掉电配置不丢失，UBLOX-NEO-6M GPS 模组上带有USB接口，支持直接连接到上位机，借用上位机软件对模组直接进 行配置与数据信息读取，定位接收器与STM32F103VET6的12C/USART接口 连接；记录设备采用Micro SD卡，Micro SD卡上的位置信息在更改格式为KML 之后，可以使用Google Earth对运动轨迹进行地图绘制，便于用户对骑行运动 查看，记录设备与STM32F103VET6的SPI1接口连接；交互输入设备采用按键 模块，交互输入设备与STM32F103VET6的GPIO接口连接；交互显示设备采 用带ILI9341控制器的TFL液晶屏。
[0063] 尽管图中未示出，主机电路还包括第一无线通信模块，第一无线通信模块 与主机控制器连接，从机电路还包括第二无线通信模块，第二无线通信模块与 所述从机控制器连接；第一无线通信模块和第二无线通信模块用于实现主机电 路和从机电路之间的无线通信。
[0064] 示例性的，第一无线通信模块和第二无线通信模块采用STM32F103VET6 单片机上自带的ESP8266 WiFi模块。
[0065] 本发明实施例还提供一种限制性骑行路径规划方法，应用于如图1所示的 限制性骑行路径规划装置中，如图2所示，该方法可以包括以下步骤：
[0066] 步骤1，确定预定区域内的各个路径点。
[0067] 路径点为至少两条道路的交汇点。
[0068] 步骤2，采集各个路径点的经纬度数据，记录各个路径点的海拔高度，对 每个路径点预设风景评分，将每个路径点的经纬度数据、海拔高度、风景评分 对应存储。
[0069] 风景评分考虑到时间、天气、季节等因素，因此风景评分可以是动态变化 的。
[0070] 步骤3，接收用户选择的起点和终点，对于每个行驶路段，获取同时间段 内GPS数据中其他骑行者的所有骑行路径，确定出起点与终点之间的所有待选 路径集合。
[0071] 待选路径集合包括有向路段集、每条待选路径的最大海拔差集和每条待选 路径的综合风景评分集。
[0072] 首先进行模型假设，假设每条路径的骑行时间是随机变量，假设所测数据 真实可靠，假设不同路径的客观值和用户需求值相互独立。
[0073] 由于骑行单车GPS数据的稀疏性和低采样率，很多地方之间不能获取足够 的信息来推断出行的路径，但是骑行者的经验同样隐藏在行驶路径中，因此可 以通过学习该行驶路径来学习骑行者骑行经验。
[0074] 对于最优路径选择的问题，需要生成骑行路径选择集，在实际中，骑行者 往往只选择起点至终点的若干条路径行驶，即可选择的路径存在一定约束，为 了避免生成的路径选择集遗漏重要的路径，并且生成路径集满足约束，因此根 据同时间段内所有骑行者的骑行路径确定待选路径集合。
[0075] 步骤4，接收用户选择的骑行模式。
[0076] 骑行模式包括最短距离模式、风景最优模式、锻炼身体模式。
[0077] 步骤5，根据用户选择的骑行模式，通过约束深度强化学习算法确定出对 骑行模式对应的目标路径。
[0078] 采用深度Q-learning算法来估算Q值，Q值即骑行者在起点位置选择路段 的最大累积折减收益。在深度Q-learning算法中，使用深度神经网络作为状态 映射到Q值的函数近似器。本实施例使用的BP神经网络中，将出行者起点位 置的状态特征作为输入，输出起点到终点的骑行时间。
[0079] 在第一种可能的实现中，骑行模式为最短距离模式，通过约束深度强化学 习算法确定出对骑行模式对应的目标路径，包括：待选路径集合W中包括所有 路径点组成的路径点集E和有向路径集A，用户的起点位置ei为路径点集E中 的第i个路径点，将用户的起点位置ei的状态特征表示为s(ei)＝[xi,yi,xD,yD]，xi表 示起点的经度，yi表示起点的纬度，xD表示终点的经度，yD表示终点的纬度； 起点位置ei到终点的骑行时间用Q(s(ei))表示，将起点位置ei的状态特征s(ei)输入 BP神经网络得到起点到终点的骑行时间Q(s(ei))；用户在待选路径集合G中所 在路径点ei+n∈E，ei+n表示在起点位置ei后的第n个路径点，与起点位置ei相连 接的所有路段ai,j组成起点位置ei的有向路径集A(ei)；奖励函数r(ei,ai,i+1)表示用 户在起点位置ei选择路段ai,i+1的骑行时间Q(s(ei))；根据骑行经验执行贪婪策略π 和环境交互得到由所在路径点、选择的相邻路段和骑行时间组成的求解： hi:k＝ei,ai,i+1,r(ei,ai,i+1),ei+1,ai+1,i+2,...,ek，ek表示终点之前所经过的最后一个路口，即路 径点集E中的第k个路径点；当完成一次求解，Q值发生更新，将求解中用户 在起点位置ei以及之后经过的每个路径点表示为[s(ei),ai,i+1,r(ei,ai,i+1),s(ei+1)]存储于 求解记忆P中；当每次完成成功求解时，计算成功求解中每个起点位置ei到终 点位置的累积折减收益G(hi:k)；定义节点记忆 N＝{[s(ei),q(ei)|ei∈E,q(ei)＝minG(hi:k)]}，二元组s(ei)，q(ei)存储起点位置ei的状态 特征和起点到终点的最短骑行时间；采用深度Q-learning算法，神经网路的训 练通过最小化起点位置ei到终点的最短骑行时间q(ei)和起点位置ei到终点的骑 行时间估计值Q(s(ei))误差平方和，即 其中θ 为神经网络权重系数；采用ε贪婪策略，以ε概率选择当前最佳策略，1-ε概率 随机选择策略，基于深度Q-learning算法，结合待选路径集合W，选择对应最 短距离模式的路径，具体步骤包括：输入W＝(E,A)；初始化节点记忆N，循环 执行初始化Q值及神经网络权重系数θ，嵌套循环1至k，在起点位置ei用户满 足交通规则时，采用ε贪婪策略选择和起点位置相连的路段ai,i+1；将选择记录 [s(ei),ai,i+1,r(ei,ai,i+1)]加入求解，并将记录[s(ei),ai,i+1,r(ei,ai,i+1),s(ei+1)]存储于求解记忆 P，直到最后一个路径点ek和终点eD重合结束循环；计算成功从起点到终点的路 径中每个起点位置ei到终点的累积折减收益G(hi:k)，并更新节点记忆N；使用梯 度下降更新θ，以最小化[(q(ei)-Q(s(ei),θ))]2，输出贪婪策略ai,i+1＝π(ei)，得到所 选择的一个路段，到达终点后，所有选择的路段组成的路径即与最短距离模式 对应的路径。
[0080] 在第二种可能的实现中，骑行模式为风景最优模式，通过约束深度强化学 习算法确定出对骑行模式对应的目标路径，包括：根据骑行经验设定风景评分 初始值g0，待选路径集合W中包括所有路径点组成的路径点集E、有向路径集 A、每条待选路径的综合风景评分集g，用户的起点位置ei为路径点集E中的第 i个路径点，将用户的起点位置ei的状态特征表示为s(ei)＝[xi,yi,xD,yD]，xi表示起 点的经度，yi表示起点的纬度，xD表示终点的经度，yD表示终点的纬度；起点 位置ei到终点的骑行时间用Q(s(ei))表示，将起点位置ei的状态特征s(ei)输入BP 神经网络得到起点到终点的骑行时间Q(s(ei))；用户在待选路径集合G中所在路 径点ei+n∈E，ei+n表示在起点位置ei后的第n个路径点，与起点位置ei相连接的 所有路段ai,j组成起点位置ei的有向路径集A(ei)；奖励函数r(ei,ai,i+1)表示用户在 起点位置ei选择路段ai,i+1的骑行时间Q(s(ei))；根据骑行经验执行贪婪策略π和环 境交互得到由所在路径点、选择的相邻路段和骑行时间组成的求解： hi:k＝ei,ai,i+1,r(ei,ai,i+1),ei+1,ai+1,i+2,...,ek，ek表示终点之前所经过的最后一个路口，即路 径点集E中的第k个路径点；当完成一次求解，Q值发生更新，将求解中用户 在起点位置ei以及之后经过的每个路径点表示为[s(ei),ai,i+1,r(ei,ai,i+1),s(ei+1)]存储于 求解记忆P中；当每次完成成功求解时，计算成功求解中每个起点位置ei到终 点位置的累积折减收益G(hi:k)；定义节点记忆 N＝{[s(ei),q(ei)|ei∈E,q(ei)＝minG(hi:k)]}，二元组s(ei)，q(ei)存储起点位置ei的状态 特征和起点到终点的最短骑行时间；采用深度Q-learning算法，神经网路的训 练通过最小化起点位置ei到终点的最短骑行时间q(ei)和起点位置ei到终点的骑 行时间估计值Q(s(ei))误差平方和，即 其中θ为神 经网络权重系数；采用ε贪婪
策略，以ε概率选择当前最佳策略，1-ε概率随机 选择策略，基于深度Q-learning算法，结合待选路径集合W，选择对应风景最 优模式的路径，具体步骤包括：输入W＝(E,A,g)；初始化节点记忆N，循环执 行初始化Q值及神经网络权重系数θ，嵌套循环1至k，在起点位置ei用户满足 交通规则时，采用ε贪婪策略选择和起点位置相连的路段ai,i+1；将选择记录 [s(ei),ai,i+1,r(ei,ai,i+1)]加入求解，并将记录[s(ei),ai,i+1,r(ei,ai,i+1),s(ei+1)]存储于求解记忆 P，直到最后一个路径点ek和终点eD重合结束循环；计算成功从起点到终点的路 径中每个起点位置ei到终点的累积折减收益G(hi:k)，并更新节点记忆N；使用梯 度下降更新θ，以最小化 输出贪婪策略ai,i+1＝π(ei)，得到所选择的 一个路段，到达终点后，所有选择的路段组成的路径即与风景最优模式对应的 路径。
[0081] 示例性的，风景评分满分10分，根据骑行经验设定风景评分初始值为5。
[0082] 在第三种可能的实现中，骑行模式为锻炼身体模式，通过约束深度强化学 习算法确定出对骑行模式对应的目标路径，包括：设每条待选路径的最低点el海 拔为Zl，最高点eh海拔为Zh，海拔差最大值为z，待选路径集合W中包括所有 路径点组成的路径点集E、有向路径集A、每条待选路径的最大海拔差集Z， 用户的起点位置ei为路径点集E中的第i个路径点，将用户的起点位置ei的状态 特征表示为s(ei)＝[xi,yi,xD,yD]，xi表示起点的经度，yi表示起点的纬度，xD表示 终点的经度，yD表示终点的纬度；起点位置ei到终点的骑行时间用Q(s(ei))表示， 将起点位置ei的状态特征s(ei)输入BP神经网络得到起点到终点的骑行时间 Q(s(ei))；用户在待选路径集合G中所在路径点ei+n∈E，ei+n表示在起点位置ei后 的第n个路径点，与起点位置ei相连接的所有路段ai,j组成起点位置ei的有向路 径集A(ei)；奖励函数r(ei,ai,i+1)表示用户在起点位置ei选择路段ai,i+1的骑行时间 Q(s(ei))；根据骑行经验执行贪婪策略π和环境交互得到由所在路径点、选择的 相邻路段和骑行时间组成的求解：hi:k＝ei,ai,i+1,r(ei,ai,i+1),ei+1,ai+1,i+2,...,ek，ek表示终点 之前所经过的最后一个路口，即路径点集E中的第k个路径点；当完成一次求 解，Q值发生更新，将求解中用户在起点位置ei以及之后经过的每个路径点表 示为[s(ei),ai,i+1,r(ei,ai,i+1),s(ei+1)]存储于求解记忆P中；当每次完成成功求解时，计 算成功求解中每个起点位置ei到终点位置的累积折减收益G(hi:k)；定义节点记忆 N＝{[s(ei),q(ei)|ei∈E,q(ei)＝minG(hi:k)]}，二元组s(ei)，q(ei)存储起点位置ei的状态 特征和起点到终点的最短骑行时间；采用深度Q-learning算法，神经网路的训 练通过最小化起点位置ei到终点的最短骑行时间q(ei)和起点位置ei到终点的骑 行时间估计值Q(s(ei))误差平方和，即 其中θ为
神经网络权重系数；采用ε贪婪策略，以ε概率选择当前最佳策略，1-ε概率随 机选择策略，基于深度Q-learning算法，结合待选路径集合W，选择对应锻炼 身体模式的路径，具体步骤包括：输入W＝(E,A,Z)；初始化节点记忆N，循环 执行初始化Q值及神经网络权重系数θ，嵌套循环1至k，在起点位置ei用户满 足交通规则时，采用ε贪婪策略选择和起点位置相连的路段ai,i+1；将选择记录 [s(ei),ai,i+1,r(ei,ai,i+1)]加入求解，并将记录[s(ei),ai,i+1,r(ei,ai,i+1),s(ei+1)]存储于求解记忆 P，直到最后一个路径点ek和终点eD重合结束循环；计算成功从起点到终点的路 径中每个起点位置ei到终点的累积折减收益G(hi:k)，并更新节点记忆N；使用梯 度下降更新θ，以最小化 输出贪婪策略ai,i+1＝π(ei)，得到所选 择的一个路段，到达终点后，所有选择的路段组成的路径即与锻炼身体模式对 应的路径。
[0083] 示例性的，如图3所示，其示出了采集预定区域内的路径点，假设用户确 定起点和终点分别为医学院和三食堂，根据图3中的路径点和骑行经验依次生 成图4所示的状态转换图，用户可以自行选择不同模式的最优路径。当起点选 择为医学院，终点为三食堂时，CDRL算法根据骑行经验，在医学院选择下一 个骑行地点，由此类推，直至到达三食堂，生成多条路径，用户根据自身需求 选择适合的路径。
[0084] 以上所述的仅是本发明的优先实施方式，本发明不限于以上实施例。可以 理解，本领域技术人员在不脱离本发明的精神和构思的前提下直接导出或联想 到的其他改进和变化，均应认为包含在本发明的保护范围之内。
