一种基于数据融合的多功能智能机器人药品配送系统

摘要

本发明公开了一种基于数据融合的多功能智能机器人药品配送系统，包括：底层数据处理控制单元、上层数据融合和传感器数据网络整合控制单元、自动驾驶单元和药品配送信息管理单元；所述的底层数据处理控制单元，硬件上包括编码电机、姿态传感器、麦克纳姆轮和STM32主控板；软件上采用麦克纳姆轮和编码器电机闭环控制系统；所述的上层数据融合和传感器数据网络整合控制单元，在硬件上包括NVIDIA TX2控制板、RPLIDAR S1、ZED双目相机和两个普通相机；所述的自动驾驶单元和药品配送信息管理单元包括信息录入和自动驾驶算法。本发明可完成药品配送等重复度高、工作内容单一的任务，提高了医院的智能化、无人化程度，有利于完善医院的医疗体系，推进医院的信息化建设。

权利要求

1.一种基于数据融合的多功能智能机器人药品配送系统,其特征在于：包括：底层数据处理控制单元、上层数据融合和传感器数据网络整合控制单元、自动驾驶单元和药品配送信息管理单元；

所述的底层数据处理控制单元，硬件上包括用于采集数据并发送控制信号的STM32主控板，以及与STM32主控板连接用于观察控制智能机器人状态的姿态传感器，和控制智能机器人运行的编码电机，编码电机与麦克纳姆轮连接；所述的STM32主控板内植入有控制麦克纳姆轮的控制麦克纳姆轮控制系统，和控制编码电机运行的编码器电机闭环控制系统；

所述的底层数据处理控制单元，在控制机器人的方向时采用将姿态传感器和电机转速数据进行数据融合，通过电机转速感知自身方位，修改姿态传感器在偏航方向上由于传感器精度问题而导致的零偏；

设机器人左侧电机转速分别为V1L、V2L，右侧电机转速分别为V3R、V4R，姿态传感器测得偏航方向旋转的角度为AY，故，左侧车轮平均速度为：VL＝(|V1L|+|V2L|)/2      (公式1)同理可得

VR＝(|V3R|+|V4R|)/2       (公式2)当麦克纳姆轮小车进行原地转向时，根据力学原理，四个车轮的转速一致，仅需改变电机转动方向即可，此时，配送车将根据车身的中心点进行顺时针或逆时针旋转；

由此可得，配送车的转向线速度为VT:VT＝VL‑VR      (公式3)当车身长为L时，配送车转动的角速度为ωv：通过积分，便可获得此时配送车旋转的角度θ；

则修正角度θσ：

θσ＝(θ+AY)/2       (公式5)将此角度作为最终数据，存储到协议的相应单元，在所有数据采集完之后，将数据帧发送给上层控制单元，以达到自身状态感知、提高传感器精度的目的；

所述的上层数据融合和传感器数据网络整合控制单元包括与STM32主控板信号连接的NVIDIATX2控制板，以及用于监测周围环境的并装在智能机器人上的激光雷达和可获得深度图像和点云图的硬件设备，硬件设备包括ZED双目相机和两个普通相机；激光雷达和可获得深度图像和点云图的硬件设备与NVIDIATX2控制板连接进行信号传输；

所述的上层数据融合和传感器数据网络整合控制单元中的NVIDIA TX2控制板为运行ubuntu16.04和kinetic ROS操作系统的Jeston Nvidia TX2开发板，与安装在智能机器人前部的双目相机和两个普通相机连接，双目相机为测试深度的相机；

测试深度的相机通过双目算法得到场景的深度图像，传输至NVIDIA TX2控制板进行处理，根据深度相机的视角参数知，ZED相机的探测广角为110°，对图像使用1080P分辨率、即图像大小为3840*1080，一度对应35个像素点，通过对场景内的深度图像进行感知，得到前方道路障碍物的情况；同时，激光雷达持续对周围环境进行扫描，激光雷达的0°始终指向车身前进的反方向，通过激光雷达90°和270°的值，得到智能机器人自身相对于左侧墙体的位置DL和相对于右侧的墙体位置DR，设车身长度为h宽度为l，当智能机器人在前进过程中要求智能机器人对前方1.5米内的物体做出判断和反应，根据智能机器人自身的宽度为l，得到探测张角α:

由此得到所需深度数据避障范围α为 则对该区域内的深度数据进行采集得到深度相机的数据，此时将数据按照距离进行分类，将图像中距离在d1±dσ范围内的点进行统计，将坐标存放在数组Ad1中；将图像中距离在d2±dσ范围内的点进行统计，将坐标存放在数组Ad2中,…,依此类推，便可得到一系列数组，在进行避障判断时，仅对距离在1.5m范围内的障碍物进行避障操作；

在得到深度数组之后，结合激光雷达数据进行避障操作，首先得到深度数组的集合{Ad1,Ad2,…,Adn}以及对应的角度和距离{d1,d2,…,dn}，所述对应的角度中，激光雷达的

125°对应深度相机视角的0°；具体的避障流程如下所示：当障碍物出现在α内时，设点的集合为A，取A内的横坐标的均值xA，若xA>1920,则判断障碍物在相对送药车右侧，否则，障碍物出现在左侧；假设xA<1920，根据视角和像素点的对应关系可得障碍物相对AGV行进正方向的偏角αA：αA＝(1920‑xA)/35      (公式7)规定服务车先向右进行避障操作，结合偏角和此时的距离dA可知，AGV需要向右行进的距离lA：

lA＝2tanαA+dsafe     (公式8)dsafe为设定的安全距离；

此时对激光雷达数据进行采集，在激光雷达探测角 内进行距离感知，根据激光雷达的角度数据判断在AGV右方lA范围内是否出现障碍物，判断依据为：确保在该角度范围内的每一个激光雷达数据大于该角度所对应的llaser，此时才可判断AGV右方无障碍物，才进行右行避障；当右侧无法进行避障时，则在激光雷达内进行感知，确保在AGV左方无障碍物时，才进行左行避障；通过调整智能机器人自身位置，将障碍物移出行进路线；

所述的自动驾驶单元和药品配送信息管理单元包括信息录入系统和自动驾驶控制系统，所述的信息录入系统与医师诊断、开药系统对接，医生在开药时即可直接将病员信息和开药信息录入到信息录入系统中，自动驾驶控制系统中会提前将某一个楼层中每一个病床的驾驶轨迹输入其中。

2.根据权利要求1所述的一种基于数据融合的多功能智能机器人药品配送系统,其特征在于：所述底层数据处理控制单元的速度控制方式为闭环控制，通过速度反馈装置感知车轮的转速；主要实现方式如下：

(1)由底层控制单元STM32接收上层控制单元发送的速度数据Vs；

(2)在控制板中，将车辆的速度信息转换为四个麦克纳姆轮的目标PWM占空比；

(3)将目标值输入PWM设置函数，驱动车轮转动，同时通过自带的编码器读取车轮转速VA；

(4)将目标转速和实际转速输入PID算法，实现闭环调速功能；同时，将实时的编码器的数据值存放到数据帧中，当所有数据采集完之后，将数据帧发送至上层控制单元，以达到自身状态感知的目的和后期姿态控制的依据。

3.根据权利要求1所述的一种基于数据融合的多功能智能机器人药品配送系统,其特征在于：所述的激光雷达可采用单线激光雷达或多线激光雷达；所述的单线激光采用的是RPLIDARS1单线激光雷达。

4.根据权利要求1所述的一种基于数据融合的多功能智能机器人药品配送系统,其特征在于：当在所述的偏角范围αA内出现多个障碍物时，则先对较近的障碍物进行避障，再对较远的障碍物进行避障。

5.根据权利要求1所述的一种基于数据融合的多功能智能机器人药品配送系统,其特征在于：所述的底层数据处理控制单元和上层数据融合和传感器数据网络整合控制单元之间采用全双工数据传输模式，数据在链路中双向传输；STM32主控板与NVIDIATX2控制板之间通过串口和/或无线方式进行信号连接，无线连接方式包括WIFI、蓝牙。

6.根据权利要求1所述的一种基于数据融合的多功能智能机器人药品配送系统,其特征在于：所述的自动驾驶单元和药品配送信息管理单元的具体控制步骤如下：步骤一：对底层传感器进行初始化，建立与上层的数据通道；

步骤二：对主要信息进行录入，放入药品，规划配送路径；

步骤三：配送车自主导航，在行进的同时，由系统并行处理避障动作和门牌扫描；

步骤四：到达送药地点后广播信息，通知病人取药，病人输入自身信息并且核对无误后打开柜门，若无人取药，则对该点进行标记，等待一定时间后继续前进到下一个配送点；

步骤五：结束第一次送药之后，若药品已经送完则返回出发点，否则进行第二次路径规划，继续进行配送，路径规划次数不超过3次；

步骤六：三次送药后，返回出发点，将情况录入系统同时告知医护人员送药情况，由医护人员对情况进行确认。

说明书

一种基于数据融合的多功能智能机器人药品配送系统

技术领域

[0001] 本发明涉及自动药品配送系统，具体涉及一种基于数据融合的多功能智能机器人药品配送系统。

背景技术

[0002] 智能机器人及其自动化技术作为最近几十年兴起的新兴技术，不断地发展壮大并走进了人们的生活中，为了让机器人更好地服务人类的生活，机器人的发展慢慢的从车间
流水线上的装配机器人到室内的扫地机器人、餐馆的点餐机器人等等。机器人技术越来越
成为人类生活中不可或缺的一部分。

[0003] 然而随着科学技术的不断发展和服务水平的不断提高，医院作为人们健康生活的第一战线，也在不断地提高服务质量和服务效率。在医院中，医生的职责就是为病人提供诊
断，护士的责任就是照顾病人，但是随着医院综合的实力提升，医院的规模也越来越大。现
阶段，医院在照顾病房中的病人来说主要面临以下几个问题：

[0004] (1)药品配送。护士的任务就是每天定时为病人分发药品，由于病人过多，每个病人所需药品又不一样，导致送药过程需要足够的耐性，不能出任何纰漏。

[0005] (2)人员分配。由于医院的送药过程都采用人力配送，需要多次操作才能将药品分发完毕，这在时间和人员上都有巨大的资源浪费，医院需要额外承担护士的加班费和工资
等输出。

发明内容

[0006] 针对上述的技术问题，本技术方案提供了一种基于数据融合的多功能智能机器人药品配送系统，该系统通过引入自动驾驶技术和图像处理技术，实现在医院环境下的自动
驾驶。系统自动驾驶的硬件实现采用的是麦克纳姆轮四轮小车，采集数据部分包括姿态传
感器、电机编码器、单线激光雷达、双目深度相机通过激光雷达建立病区的2D平面模型，双
目相机同时可以测得图像的深度信息，通过其中相机采集的数据进行图像处理，分析核对
机器人当前的位置，在建立的地图中进行标记；能有效的解决上述问题。

[0007] 技术方案

[0008] 一种基于数据融合的多功能智能机器人药品配送系统,包括：底层数据处理控制单元、上层数据融合和传感器数据网络整合控制单元、自动驾驶单元和药品配送信息管理
单元；所述的底层数据处理控制单元，硬件上包括用于采集数据并发送控制信号的STM32主
控板，以及与STM32主控板连接用于观察控制智能机器人状态的姿态传感器，和控制智能机
器人运行的编码电机，编码电机与麦克纳姆轮连接；所述的STM32主控板内植入有控制麦克
纳姆轮的控制麦克纳姆轮控制系统，和控制编码电机运行的编码器电机闭环控制系统；所
述的上层数据融合和传感器数据网络整合控制单元包括与STM32主控板信号连接的NVIDIA 
TX2控制板，以及用于监测周围环境的并装在智能机器人上的激光雷达和可获得深度图像
和点云图的硬件设备，激光雷达和可获得深度图像和点云图的硬件设备与NVIDIA TX2控制
板连接进行信号传输；所述的自动驾驶单元和药品配送信息管理单元包括信息录入系统和
自动驾驶控制系统，所述的信息录入系统与医师诊断、开药系统对接，医生在开药时即可直
接将病员信息和开药信息录入到信息录入系统中，自动驾驶控制系统中会提前将某一个楼
层中每一个病床的驾驶轨迹输入其中。

[0009] 进一步的，所述的智能机器人可采用配送车车辆，配送车的车轮采用麦克纳姆轮结构；智能机器人还可采用两足机器人、飞行器等其它机械结构的平台。

[0010] 进一步的，所述底层数据处理控制单元的具有手动控制和自动控制两种控制模式。

[0011] 进一步的，所述底层数据处理控制单元的速度控制方式为闭环控制，通过速度反馈装置感知车轮的转速；主要算法实现过程如下：

[0012] (1)由底层控制单元STM32接收上层控制单元发送的速度数据Vs；

[0013] (2)在控制板中，将车辆的速度信息转换为四个麦克纳姆轮的目标PWM占空比；

[0014] (3)将目标值输入PWM设置函数，驱动车轮转动，同时通过自带的编码器读取车轮转速VA；

[0015] (4)将目标转速和实际转速输入PID算法，实现闭环调速功能；

[0016] 同时，将实时的编码器的数据值存放到数据帧中，当所有数据采集完之后，将数据帧发送至上层控制单元，以达到自身状态感知的目的和后期姿态控制的依据。

[0017] 进一步的，所述的底层数据处理控制单元，在控制机器人的方向时采用将姿态传感器和电机转速数据进行数据融合，通过电机转速感知自身方位，修改姿态传感器在偏航
方向上由于传感器精度问题而导致的零偏；

[0018] 设机器人左侧电机转速分别为V1L、V2L，右侧电机转速分别为V3R、V4R，姿态传感器测得偏航方向旋转的角度为AY，故，左侧车轮平均速度为：

[0019] VL＝(|V1L|+|V2L|)/2  (公式1)

[0020] 同理可得

[0021] VR＝(|V3R|+|V4R|)/2  (公式2)

[0022] 当麦克纳姆轮小车进行原地转向时，根据力学原理，四个车轮的转速一致，仅需改变电机转动方向即可，此时，配送车将根据车身的中心点进行顺时针或逆时针旋转；

[0023] 由此可得，配送车的转向线速度为VL:

[0024] VL＝VL‑VR  (公式3)

[0025] 当车身长为L时，配送车转动的角速度为ωv：

[0026]

[0027] 通过积分，便可获得此时配送车旋转的角度θ。

[0028] 则修正角度θσ：

[0029] θσ＝(θ+AY)/2  (公式5)

[0030] 将此角度作为最终数据，存储到协议的相应单元，在所有数据采集完之后，将数据帧发送给上层控制单元，以达到自身状态感知、提高传感器精度的目的。

[0031] 进一步的，所述的激光雷达可采用单线激光雷达或多线激光雷达；以RPLIDAR S1单线激光雷达为最佳。

[0032] 进一步的，所述的可获得深度图像和点云图的硬件设备包括双目相机和两个普通相机，所述的双目相机采用ZED双目相机。

[0033] 进一步的，所述的上层数据融合和传感器数据网络整合控制单元中的NVIDIA TX2控制板为运行ubuntu16.04和kinetic ROS操作系统的Jeston Nvidia TX2开发板，与安装
在智能机器人前部的双目相机和两个普通相机连接，双目相机为测试深度的相机；

[0034] 测试深度的相机通过双目算法得到场景的深度图像，传输至NVIDIA TX2控制板进行处理，根据深度相机的视角参数知，ZED相机的探测广角为110°，对图像使用1080P分辨
率、即图像大小为3840*1080(一度对应35个像素点)，通过对场景内的深度图像进行感知，
得到前方道路障碍物的情况；同时，激光雷达持续对周围环境进行扫描(激光雷达的0°始终
指向车身前进的反方向)，通过激光雷达90°和270°的值，得到智能机器人自身相对于左侧
墙体的位置DL和相对于右侧的墙体位置DR，设车身长度为h宽度为l，当智能机器人在前进过
程中要求智能机器人对前方1.5米内的物体做出判断和反应，根据智能机器人自身的宽度
为l，得到探测张角α:

[0035]

[0036] 由此得到所需深度数据避障范围α为 则对该区域内的深度数据进行采集得到深度相机的数据，此时将数据按照距离进行分类，将图
像中距离在d1±dσ范围内的点进行统计，将坐标存放在数组Ad1中；将图像中距离在d2±dσ范
围内的点进行统计，将坐标存放在数组Ad2中,...,依此类推，便可得到一系列数组，在进行
避障判断时，仅对距离在1.5m范围内的障碍物进行避障操作；

[0037] 在得到深度数组之后，结合激光雷达数据进行避障操作，首先得到深度数组的集合{Ad1,Ad2,...,Adn}以及对应的角度(激光雷达的125°对应深度相机视角的0°)和距离{d1,
d2,...,dn}，下面对避障流程进行说明：

[0038] 当障碍物出现在α内时，设点的集合为A，取A内的横坐标的均值xA，若xA>1920,则判断障碍物在相对送药车右侧，否则，障碍物出现在左侧。假设xA<1920，根据视角和像素点的
对应关系可得障碍物相对AGV行进正方向的偏角αA：

[0039] αA＝(1920‑xA)/35  (公式7)

[0040] 规定服务车先向右进行避障操作，结合偏角和此时的距离dA可知，AGV需要向右行进的距离lA：

[0041] lA＝2tanαA+dsafe  (公式8)

[0042] dsafe为设定的安全距离；

[0043] 此时对激光雷达数据进行采集，在激光雷达探测角 内进行距离感知，根据激光雷达的角度数据判断在AGV右方lA范围内是否出现障碍物，判断依据为：

[0044]

[0045] 确保在该角度范围内的每一个激光雷达数据大于该角度所对应的llaser，此时才可判断AGV右方无障碍物，才进行右行避障；当右侧无法进行避障时(根据左右对称性，不作推
导)，则在激光雷达 内进行感知，确保在AGV左方无障碍物时，才进行
左行避障；通过调整智能机器人自身位置，将障碍物移出行进路线。

[0046] 进一步的，当在所述的偏角范围αA内出现多个障碍物时，则先对较近的障碍物进行避障，再对较远的障碍物进行避障。

[0047] 进一步的，所述的底层数据处理控制单元和上层数据融合和传感器数据网络整合控制单元之间采用全双工数据传输模式，数据在链路中双向传输；STM32主控板与NVIDIA 
TX2控制板之间通过串口和/或无线方式进行信号连接，无线连接方式包括WIFI、蓝牙等其
他无线连接方式。

[0048] 进一步的，所述的自动驾驶单元和药品配送信息管理单元的具体控制步骤如下：

[0049] 步骤一：对底层传感器进行初始化，建立与上层的数据通道；

[0050] 步骤二：对主要信息进行录入，放入药品，规划配送路径；

[0051] 步骤三：配送车自主导航，在行进的同时，由系统并行处理避障动作和门牌扫描；

[0052] 步骤四：到达送药地点后广播信息，通知病人取药，病人输入自身信息并且核对无误后打开柜门，若无人取药，则对该点进行标记，等待一定时间后继续前进到下一个配送
点；

[0053] 步骤五：结束第一次送药之后，若药品已经送完则返回出发点，否则进行第二次路径规划，继续进行配送，路径规划次数不超过3次；

[0054] 步骤六：三次送药后，返回出发点，将情况录入系统同时告知医护人员送药情况，由医护人员对情况进行确认。

[0055] (三)有益效果

[0056] 本发明提出的一种基于数据融合的多功能智能机器人药品配送系统，与现有技术相比较，其具有以下有益效果：

[0057] (1)本技术方案中通过与底层数据处理控制单元和上层数据融合和传感器数据网络整合控制单元连接的各个数据采集装置和传感器形成节点，采用节点网络设计思路，建
立分布式节点，简化系统的复杂度，同时提高各系统之间的独立性和网络可拓展性。

[0058] (2)本技术方案中还通过自动驾驶单元和药品配送信息管理单元，引入先进的自动驾驶技术和图像处理技术，完成药品配送等重复度高、工作内容单一的任务，在节省医院
人力物力的基础上，提高了医院的智能化、无人化程度，有利于完善医院的医疗体系，推进
医院的信息化建设。对于医生护士来说，通过本装置进行配药，可以减轻异物人员的工作
量，同时还减少了护士与病人接触的次数，降低了医生护士感染传染病的几率，保障了医生
护士的健康安全和人身安全。

[0059] (3)本技术方案中引入的自动驾驶技术作为最近几年发展的新技术，虽然在室外要实现自动驾驶比较困难，但是对于医院这种固定的且简单场景的自动驾驶，通过多传感
器融合技术，可以达到很高的精确度、提升医院的工作效率，节省了大量的人力物力，有利
于提高医院管理服务体系智能化和高效化。

[0060] (4)本技术方案可以在不改变现有环境下，完成了药品的安全配送，大大提高了医院的工作效率，同时实现了智能化，有利于医院更好地掌握病人的给药信息，通过科学化、
智能化的管理，提高了住院病人的住院体验，同时也大大减少了医院的支出，通过将送药系
统接入医院网络，有利于医院一体化、高效化建设，在保障治疗效果的同时，减少医生与病
人接触的次数，有效减少传染病的传染途径，保障医生护士的生命安全，对医疗事业的发展
具有十分重要的意义。

附图说明

[0061] 图1是本发明的系统整体架构示意框图。

[0062] 图2是本发明中闭环控制调节示意框图。

[0063] 图3是本发明中底层数据处理控制单元的工作流程示意图。

[0064] 图4是本发明中自动驾驶单元和药品配送信息管理单元的具体工作流程示意图。

具体实施方式

[0065] 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。在不脱离本
发明设计构思的前提下，本领域普通人员对本发明的技术方案做出的各种变型和改进，均
应落入到本发明的保护范围。

[0066] 实施例1：

[0067] 如图1‑4所示，一种基于数据融合的多功能智能机器人药品配送系统，包括：底层数据处理控制单元、上层数据融合和传感器数据网络整合控制单元、自动驾驶单元和药品
配送信息管理单元。

[0068] 1.底层数据处理控制单元：

[0069] 底层数据处理单元在硬件上包括编码电机、姿态传感器、麦克纳姆轮、OLED显示屏和STM32主控板，其中，编码电机包含转动部分和编码器部分，通过编码器进行车速计算；姿
态传感器用来感知小车角度信息；OLED显示屏进行必要的数据显示，方便调试和错误诊断；
STM32为底层的控制系统，完成包括信息采集、数据处理、数据封装、数据传输以及接收控制
信息的任务。

[0070] 首先，由底层数据处理单元中的STM32主控板完成姿态传感器、编码器接口等器件的初始化，为方便调试，系统具有自动行驶和手动行驶两项功能，在自动行驶部分，底层数
据处理单元中的STM32主控板接收来自上层数据融合和传感器数据网络整合控制单元的速
度信息，通过计算所得的数据进行自动驾驶；

[0071] 底层数据处理控制单元的速度控制方式为闭环控制，通过速度反馈装置感知车轮的转速；主要算法实现过程如下：

[0072] (1)由底层控制单元STM32接收上层控制单元发送的速度数据Vs；

[0073] (2)在控制板中，将车辆的速度信息转换为四个麦克纳姆轮的目标PWM占空比；

[0074] (3)将目标值输入PWM设置函数，驱动车轮转动，同时通过自带的编码器读取车轮转速VA；

[0075] (4)将目标转速和实际转速输入PID算法，实现闭环调速功能；

[0076] 同时，将实时的编码器的数据值存放到数据帧中，当所有数据采集完之后，将数据帧发送至上层控制单元，以达到自身状态感知的目的和后期姿态控制的依据。

[0077] 底层数据处理控制单元，在控制机器人的方向时采用将姿态传感器和电机转速数据进行数据融合，通过电机转速感知自身方位，修改姿态传感器在偏航方向上由于传感器
精度问题而导致的零偏；

[0078] 设机器人左侧电机转速分别为V1L、V2L，右侧电机转速分别为V3R、V4R，姿态传感器测得偏航方向旋转的角度为AY，故，左侧车轮平均速度为：

[0079] VL＝(|V1L|+|V2L|)/2  (公式1)

[0080] 同理可得

[0081] VR＝(|V3R|+|V4R|)/2  (公式2)

[0082] 当麦克纳姆轮小车进行原地转向时，根据力学原理，四个车轮的转速一致，仅需改变电机转动方向即可，此时，配送车将根据车身的中心点进行顺时针或逆时针旋转；

[0083] 由此可得，配送车的转向线速度为VL：

[0084] VT＝VL‑VR  (公式3)

[0085] 当车身长为L时，配送车转动的角速度为ωv：

[0086]

[0087] 通过积分，便可获得此时配送车旋转的角度θ。

[0088] 则修正角度θσ：

[0089] θσ＝(θ+AY)/2  (公式5)

[0090] 将此角度作为最终数据，存储到协议的相应单元，在所有数据采集完之后，将数据帧发送给上层控制单元，以达到自身状态感知、提高传感器精度的目的。

[0091] 在手动行驶部分，底层接收来自蓝牙的数据，通过手柄或者终端，按照既定的协议格式进行数据接收，接收来自蓝牙串口的数据。

[0092] 接着，当传感器初始化完成后，开始将姿态传感器获得的原始数据进行处理，通过四元数，将其转换为欧拉角，同时，编码器开始对轮子的转速进行读取，将速度拆分为速度
的大小和方向两个部分分开传输。

[0093] 然后，将数据按照帧头、四个电机编码器读取的速度大小、方向、欧拉角、四元数的顺序，封装成一帧，将数据通过串口返送到上层控制板。

[0094] 最后，由上层数据融合和传感器数据网络整合控制单元中的NVIDIA TX2控制板对数据进行处理，再将行驶数据反馈给底层数据处理控制单元中的STM32主控板，完成配送车
的自动行驶。

[0095] 在行驶过程中，底层数据处理控制单元中的STM32主控板通过该串口实时接收来自上层数据融合和传感器数据网络整合控制单元中的NVIDIA TX2控制板下发的速度控制
数据，将数据转换成四个电子转速，通过闭环系统严格的控制车速，在控制速度的同时，姿
态传感器也将自身数据控制配送车的方向，通过编码器和姿态传感器两重作用进行控制自
身姿态，纠正自身误差。同时，为了方便调试和数据观察，全程将通过OLED屏幕将参数实时
显示。

[0096] 2.上层数据融合和传感器数据网络整合控制单元：

[0097] 上层数据融合和传感器数据网络整合控制单元，在硬件上包括NVIDIA TX2控制板、RPLIDAR S1激光雷达、ZED双目相机和两个普通相机，在系统中，通过建立传感器节点，
建立一个分布式网络，各节点之间可通过相应主题建立数据关系，同时，网络也可自由的添
加和删减节点，这样一来，便可以简化系统的复杂度，同时提高了系统的可扩展性和可裁剪
性。

[0098] 在行驶过程中，作为上层主控板的NVIDIA TX2将为传感器建立其必要的节点，首先启动双目相机进行数据采集和处理，分别对左右摄像头的原始图、合成后的景深图、点云
图等数据创建相应节点和主题，加入到系统网络；所述的上层数据融合和传感器数据网络
整合控制单元中的NVIDIA TX2控制板为运行ubuntu16.04和kinetic ROS操作系统的
Jeston Nvidia TX2开发板，与安装在智能机器人前部的双目相机和两个普通相机连接，双
目相机为测试深度的相机；

[0099] 测试深度的相机通过双目算法得到场景的深度图像，传输至NVIDIA TX2控制板进行处理，根据深度相机的视角参数知，ZED相机的探测广角为110°，对图像使用1080P分辨
率、即图像大小为3840*1080(一度对应35个像素点)，通过对场景内的深度图像进行感知，
得到前方道路障碍物的情况；同时，激光雷达持续对周围环境进行扫描(激光雷达的0°始终
指向车身前进的反方向)，通过激光雷达90°和270°的值，得到智能机器人自身相对于左侧
墙体的位置DL和相对于右侧的墙体位置DR，设车身长度为h宽度为l，当智能机器人在前进过
程中要求智能机器人对前方1.5米内的物体做出判断和反应，根据智能机器人自身的宽度
为l，得到探测张角α:

[0100]

[0101] 由此得到所需深度数据避障范围α为 则对该区域内的深度数据进行采集得到深度相机的数据，此时将数据按照距离进行分类，将图
像中距离在d1±dσ范围内的点进行统计，将坐标存放在数组Ad1中；将图像中距离在d2±dσ范
围内的点进行统计，将坐标存放在数组Ad2中,...,依此类推，便可得到一系列数组，在进行
避障判断时，仅对距离在1.5m范围内的障碍物进行避障操作；

[0102] 在得到深度数组之后，结合激光雷达数据进行避障操作，首先得到深度数组的集合{Ad1,Ad2,...,Adn}以及对应的角度(激光雷达的125°对应深度相机视角的0°)和距离{d1,
d2,...,dn}，下面对避障流程进行说明：

[0103] 当障碍物出现在α内时，设点的集合为A，取A内的横坐标的均值xA，若xA>1920,则判断障碍物在相对送药车右侧，否则，障碍物出现在左侧。假设xA<1920，根据视角和像素点的
对应关系可得障碍物相对AGV行进正方向的偏角αA：

[0104] αA＝(1920‑xA)/35  (公式7)

[0105] 规定服务车先向右进行避障操作，结合偏角和此时的距离dA可知，AGV需要向右行进的距离lA：

[0106] lA＝2tanαA+dsafe  (公式8)

[0107] dsafe为设定的安全距离；

[0108] 此时对激光雷达数据进行采集，在激光雷达探测角 内进行距离感知，根据激光雷达的角度数据判断在AGV右方lA范围内是否出现障碍物，判断依据为：

[0109]

[0110] 确保在该角度范围内的每一个激光雷达数据大于该角度所对应的llaser，此时才可判断AGV右方无障碍物，才进行右行避障；当右侧无法进行避障时(根据左右对称性，不作推
导)，则在激光雷达 内进行感知，确保在AGV左方无障碍物时，才进行
左行避障；通过调整智能机器人自身位置，将障碍物移出行进路线。当在偏角范围αA内出现
多个障碍物时，则先对较近的障碍物进行避障，再对较远的障碍物进行避障。

[0111] 上层数据融合和传感器数据网络整合控制单元会同时订阅相关的相机和激光雷达节点，当数据采集完毕之后，通过数据处理算法保证小车在行驶过程中的障碍物躲避。

[0112] 3.自动驾驶单元和药品配送信息管理单元：

[0113] 药品配送管理系统主要用于存录药品的必要信息和医护人员的医嘱，对于输入药品数量和剂量等信息进行统一的管理和保存，同时，在后台，主治医生可以通过这些用药信
息实时的对病人的情况进行监控和跟进，方便医生对病情的掌握。

[0114] 自动驾驶系统是系统的核心，在首次使用之前，由医护人员对配送车进行手动遥控，由激光雷达对配送车的自身工作环境进行准确的二维建模并存储在系统中，建立的地
图用于每次配送前的位置初试化和行进位置估计。

[0115] 在进行药品配送之前，首先需要医护人员对药品进行分类和信息输入，医护人员按照正规操作流程，输入患者的病号、用药说明和用药剂量等必要医嘱输入到配送系统中，
此时，配送信息管理系统将信息保存，并打开柜门，医护人员只需将药品放入到指定的柜子
当中即算完成一次操作。医护人员完成操作之后启动配送车，即可开始本次药品配送，系统
的配送流程如下：

[0116] 首先，当系统被启动之后，由配送管理系统输入的病号，对患者病房进行确定，按照门牌号的顺序对病房进行访问，确定药品配送的病房号。

[0117] 接着，配送车开始工作，按照规定的路线进行自动导航，在自动行驶过程中，底层数据处理控制单元中的STM32主控板读取各传感器的值，实时的反馈给上层数据融合和传
感器数据网络整合控制单元中的NVIDIA TX2控制板，NVIDIA TX2控制板结合激光雷达和深
度相机。通过算法决策计算行进的速度和方向，使配送车始终行驶在楼道中间位置，深度相
机始终探测前方道路，随时对障碍物做出反应。

[0118] 然后由左右两侧的相机对门牌号进行识别，确定是否与配送信息吻合，如果不吻合，配送车继续前进，如果吻合，配送车将停靠在门旁，开始播报病人病号，通知病人或其家
属进行取药操作，在一些大医院，可以将系统接入病房的广播系统进行通知播报。病人得到
通知后，通过输入自身信息，经系统核对无误后，打开柜门，同时在显示屏上显示医嘱并通
知病人查看。若病人不在病房内，则配送车在停留一定时间后继续完成接下来的配送任务，
当所有任务完成后，再将上一次没有送出的药物进行配送，依此循环3次若任然存在药品没
有配送，配送车情况进行记录，供医护人员参考。

[0119] 最后，当所有药品送出后，配送车回到初始点，将此次配送信息进行整理，上传到医院的系统中，并将配送情况与医护人员进行交流，医护人员根据情况通过医院现有的护
士站与病床床头的语音装置进行询问。如此便完成了一次药品配送过程。

[0120] 一种基于数据融合的多功能智能机器人药品配送系统，基于自动驾驶技术和传感器融合技术，有着效率高、操作简单等优点，对现代医疗领域有着重要的意义。该系统将完
善医疗体系网络，使得医生更加了解患者的身体状况，通过给药信息进一步的提高医生的
治疗效率，节省治疗时间。对医院来说，该系统不仅节省了大量的医疗资源，更完善了医院
的治疗体系，提高了医院的智能化程度和信息化水平了；对医生护士来说，在不降低医疗效
果的同时，较少了与病人面对面接触的机会，保证了医生护士的人身安全，同时对于具有患
传染病的病人，也能有效的降低医生护士感染的几率，保障医生护士的健康。通过后期的升
级，该系统将不仅仅应用于医药配送，也可完成引导病人就诊等任务，应用领域广泛。