多机协同与视频中继传输方法转让专利
申请号 : CN202011118536.5
文献号 : CN112235545B
文献日 : 2021-06-15
发明人 : 王彦刚 , 俞石云 , 魏祥麟 , 施伟 , 杨海涛 , 王龙
申请人 : 中国人民解放军国防科技大学
摘要 :
权利要求 :
1.一种多机协同与视频中继传输方法,其特征在于:所述方法通过机载协同控制与中继传输系统实现,包括如下步骤:部署协同控制通信波形:无人机集群执行任务前,所有飞机加载部署相同的协同控制通信波形,用于传输机器人操作系统(ROS)消息;
执行搜索任务:无人机集群在簇头飞机的协同控制下飞至任务区域,并且为每架无人机指定任务搜索区域;
中继通信链路请求:当无人机搜索到目标后,向簇头飞机发送包含中继通信链路请求的ROS消息;
中继通信链路建立:簇头飞机收到中继通信链路请求后,向参与建立中继通信链路的无人机发送包含中继通信波形部署命令和中继位置信息的ROS消息,无人机接收到ROS消息后,部署相应中继通信波形并飞往中继位置盘旋,然后向簇头飞机发送确认消息,当簇头飞机收到所有参与建立中继通信链路的无人机的确认消息后,中继通信链路建立完毕;
目标视频信息中继:搜索到目标的无人机收到簇头飞机发送的包含中继通信链路建立成功信息的ROS消息后,将采集到的视频信息通过中继通信链路传输至指挥中心;
搜索任务结束:当不再需要目标视频信息时,无人机群在簇头飞机控制下飞回。
2.如权利要求1所述的多机协同与视频中继传输方法,其特征在于,所述部署协同控制通信波形包括如下步骤:
确定协同控制通信波形:根据执行任务的区域范围,以保证簇头飞机能够与簇头以外无人机保持稳定通信为目标,选定用于在无人机之间传输ROS消息的通信波形,该通信波形称作协同控制通信波形;
簇头飞机部署协同控制通信波形:簇头飞机主管理节点通过波形代理模块向波形管理组件发送波形部署命令,波形管理组件将选定的协同控制通信波形部署到协同控制信道;
簇头以外无人机部署协同控制通信波形:簇头以外无人机的从管理节点通过波形代理模块向波形管理组件发送波形部署命令,波形管理组件将选定的协同控制通信波形部署到协同控制信道。
3.如权利要求1所述的多机协同与视频中继传输方法,其特征在于,所述执行搜索任务包括如下步骤:
飞往任务区域:簇头飞机的主飞行控制节点通过协同控制信道向簇头以外无人机的从飞行控制节点发送包含任务区域位置信息的ROS消息,无人机收到后飞往任务区域进行搜索目标;
搜索目标:无人机通过摄像头节点进行目标识别;
所述中继通信链路请求包括如下步骤:发现目标:无人机通过摄像头节点识别到目标;
发送请求:摄像头节点通过协同控制信道向簇头飞机主管理节点发送包含目标位置信息和中继通信链路请求的ROS消息。
4.如权利要求1所述的多机协同与视频中继传输方法,其特征在于,所述中继通信链路建立包括如下步骤:
计算中继通信链路:当簇头飞机主管理节点收到来自无人机摄像头节点的ROS消息后,根据目标位置与指挥中心之间的距离和视频信息所需要的传输带宽,计算出中继通信波形需要具备的最低传输能力以及建立中继通信链路所需无人机数量,然后选定参与建立中继通信链路的无人机,并为这些无人机选定需要部署的中继通信波形和在中继通信链路上盘旋的中继位置;
发布中继链路建立命令:簇头飞机主管理节点向参与建立中继通信链路的无人机的从管理节点发送包含中继通信波形的波形编号和波形部属命令的ROS消息,以及簇头飞机主飞行控制节点向参与建立中继通信链路的无人机的从飞行控制节点发送包含中继位置信息的ROS消息;
中继通信链路建立:当参与建立中继通信链路的无人机的从管理节点收到ROS消息后,通过波形代理模块向波形管理组件发送波形部署命令,波形管理组件将选定的中继通信波形部署到中继通信信道;当参与建立中继通信链路的无人机的从飞行控制节点收到包含中继位置信息的ROS消息后,飞往中继位置盘旋,并通过从管理节点向簇头飞机主管理节点发送确认消息;簇头飞机主管理节点收到所有参与中继通信链路建立的无人机回复的确认消息后,中继通信链路建立成功;
所述目标视频信息中继包括如下步骤:通知中继链路建立成功:簇头飞机主管理节点向搜索到目标的无人机摄像头节点发送包含中继链路建立成功信息的ROS消息;
中继视频信息:搜索到目标的无人机摄像头节点收到ROS消息后,将采集到的视频信息通过以太网口B传输至通信端的中继通信波形,并中继传输到指挥中心。
5.如权利要求1所述的多机协同与视频中继传输方法,其特征在于,所述机载协同控制与中继传输系统包括控制端和通信端:所述控制端包括第一硬件平台层、第一操作系统层、第一中间件层以及第一应用层,所述第一硬件平台层包括第一CPU处理器、第一控制接口、以太网口A以及以太网口B,所述第一控制接口、以太网口A以及以太网口B与所述第一CPU处理器双向连接;所述第一操作系统层包括第一Linux系统;所述第一中间件层包括客户端库模块、机器人操作系统的传输控制协议(TCP ROS)/机器人操作系统的用户数据包协议(UDP ROS)模块、节点应用程序编程接口(API)模块以及波形代理模块;所述第一应用层包括Master节点以及若干ROS节点;
所述通信端包括第二硬件平台层、第二操作系统层、第二中间件层以及第二应用层,所述第二硬件平台包括第二CPU处理器、第二控制接口、以太网口A’以及以太网口B’、信道A以及信道B,所述第二控制接口、以太网口A’以及以太网口B’、信道A以及信道B与所述第二CPU处理器双向连接;所述第二操作系统层包括第二Linux/VxWorks系统;所述第二中间件层包括硬件抽象层、公共对象请求代理体系结构(CORBA)中间件以及软件通信体系结构(SCA)核心框架;所述第二应用层包括波形管理组件以及若干个波形组件;
所述第一控制接口与第二控制接口连接,所述以太网口A与以太网口A’连接,所述以太网口B与以太网口B’连接,所述第一CPU处理器与第二CPU处理器之间通过相互连接的控制接口以及以太网口连接;所述第一控制接口与波形代理模块连接,所述第二控制接口与波形管理组件连接;
所述信道A为支持通信波形动态部署的通信平台,信道A上运行的通信波形用于将来自以太网口A’的数据发送到空中并将从空中接收到的数据转发给以太网口A’;
所述信道A用作协同控制信道,部署协同控制通信波形;
所述信道B为支持通信波形动态部署的通信平台,信道B上运行的通信波形用于将来自以太网口B’的数据发送到空中并将从空中接收到的数据转发给以太网口B’;
所述信道B用作中继通信信道,部署中继通信波形;
所述ROS节点通过以太网口A、以太网口A’和信道A发布订阅协同控制消息,通过以太网口B、以太网口B’和信道B中继传输从外部采集的实时数据;
所述波形代理模块用于将ROS节点发出的波形部署命令通过第一控制接口传输至波形管理组件;
所述波形管理组件用于根据波形代理模块发出的波形部署命令对信道A和信道B进行通信波形的加载、配置和卸载;
所述波形代理模块与波形管理组件之间基于硬件抽象层消息进行交互,消息的Payload部分包括信道编号和波形部署命令;
所述信道编号用于区分信道A和信道B;
所述波形部署命令包括命令类型和命令参数;所述命令类型包括波形加载、波形配置、波形卸载和命令应答;所述命令参数包括与命令类型对应的参数。
6.如权利要求5所述的多机协同与视频中继传输方法,其特征在于:所述部署在簇头飞机上的机载协同控制与中继传输系统的第一应用层包括Master节点、主管理节点和主飞行控制节点:
所述Master节点是ROS系统的中心节点;
所述主管理节点是运行在控制端第一应用层的ROS节点,其一方面能够通过波形代理模块对通信端信道进行波形加卸载,另一方面能够通过协同控制信道向其它无人机的从管理节点发送包含协同控制命令的ROS消息;
所述主飞行控制节点是运行在控制端第一应用层的ROS节点,其能够通过协同控制信道向其它无人机的从飞行控制节点发送包含协同飞行轨迹信息的ROS消息。
7.如权利要求5所述的多机协同与视频中继传输方法,其特征在于:所述部署在簇头以外无人机上的机载协同控制与中继传输系统的第一应用层包括从管理节点、从飞行控制节点和摄像头节点;
所述从管理节点是运行在控制端第一应用层的ROS节点,其能够通过协同控制信道接收来自簇头飞机主管理节点发送过来的包含中继通信波形部属命令的ROS消息,并通过波形代理模块部署相应中继通信波形;
所述从飞行控制节点是运行在控制端第一应用层的ROS节点,其能够通过协同控制信道接收来自簇头飞机主飞行控制节点发送过来的包含空中盘旋位置信息的ROS消息,并飞往中继位置进行盘旋;
所述摄像头节点是运行在控制端第一应用层的ROS节点,其能够对目标进行识别,并能够通过协同控制信道向簇头飞机的主管理节点发送包含中继通信链路请求的ROS消息,当中继通信链路建立后,能够将采集的视频信息通过中继通信链路传输至控制中心。
8.如权利要求5所述的多机协同与视频中继传输方法,其特征在于:当命令类型为波形加载时,对应的命令参数为波形编号;所述波形编号是用于标识不同的通信波形的阿拉伯数字;
所述波形为多个波形组件组合运行的结果,即波形由若干波形组件组成;
当命令类型为波形配置时,对应的命令参数为波形编号和配置参数;
当命令类型为波形卸载时,对应的命令参数为波形编号;
当命令类型为命令应答时,对应的命令参数为波形加载、波形配置和波形卸载命令的执行结果。
9.如权利要求5所述的多机协同与视频中继传输方法,其特征在于:所述波形代理模块为运行在第一Linux系统上的一组函数,包括load_wave函数、set_wave函数和offload_wave函数;
所述load_wave函数通过以下步骤实现:输入参数:输入参数包括信道编号和波形编号;
构建波形加载命令消息:构建包括波形加载命令和波形编号的消息;
构建硬件抽象层消息:硬件抽象层消息中的逻辑地址(LD)字段为波形管理组件的LD,Paylad字段包括信道编号和波形加载命令消息;
发送硬件抽象层消息:将硬件抽象层消息通过控制接口发送至波形管理组件;
返回执行结果:等待波形管理组件发回的执行结果,执行结果在有效时间内到达,则返回执行结果,等待超时,则返回‑1;
所述set_wave函数通过一下步骤实现:输入参数:输入参数包括信道编号、波形编号和波形配置参数;
构建波形配置命令消息:构建包括波形配置命令、波形编号和波形配置参数的消息;
构建硬件抽象层消息:硬件抽象层消息中的LD字段为波形管理组件的LD,Paylad字段包括信道编号和波形配置命令消息;
发送硬件抽象层消息:将硬件抽象层消息通过控制接口发送至波形管理组件;
返回执行结果:等待波形管理组件发回的执行结果,执行结果在有效时间内到达,则返回执行结果,等待超时,则返回‑1;
所述offload_wave函数通过一下步骤实现:输入参数:输入参数包括信道编号和波形编号;
构建波形卸载命令消息:构建包括波形卸载命令和波形编号的消息;
构建硬件抽象层消息:硬件抽象层消息中的LD字段为波形管理组件的LD,Paylad字段包括信道编号和波形卸载命令消息;
发送硬件抽象层消息:将硬件抽象层消息通过控制接口发送至波形管理组件;
返回执行结果:等待波形管理组件发回的执行结果,执行结果在有效时间内到达,则返回执行结果,等待超时,则返回‑1。
10.如权利要求5所述的多机协同与视频中继传输方法,其特征在于:所述波形管理组件的运行方法如下:等待硬件抽象消息:等待波形代理模块发送来的硬件抽象层消息并提取信道编号和波形部署命令消息;
解析波形部署命令:提取命令类型和命令参数;
执行波形加载命令或执行波形配置命令或执行波形卸载命令;
当命令类型为波形加载时,按如下步骤:检索波形组合表:以波形编号为索引,检索波形组合表,获取波形所包含的波形组件;
所述波形组合表保存于波形管理组件中,其包括波形编号列和波形组件集合列;所述波形编号列包含了通信端所支持的通信波形的编号;所述波形组件列包括与波形编号对应的波形组件集合;每个波形编号对应至少一个波形组件;
加载波形组件:加载波形编号所对应的波形组件至信道编号所对应的信道上;
返回加载结果:以波形加载成功或失败信息为内容构建硬件抽象层消息,并发送至波形代理模块;
当命令类型为波形配置时,按如下步骤:配置波形:对信道编号所标识的信道上的波形组件进行配置;
返回加载结果:以波形配置成功或失败信息为内容构建硬件抽象层消息,并发送至波形代理模块;
当命令类型为波形卸载时,按如下步骤:卸载波形:将信道编号所标识的信道上的波形组件进行卸载;
返回加载结果:以波形卸载成功或失败信息为内容构建硬件抽象层消息,并发送至波形代理模块。
说明书 :
多机协同与视频中继传输方法
技术领域
背景技术
要思想是:数量多且能力有限的无人机通过协同合作来完成高复杂度任务。无人机集群的
一个关键技术就是多机协同。当前很多研究人员将机器人操作系统(Robotic Operation
System,下文简称为ROS)引入无人机集群,利用ROS系统来实现无人机之间的协同。
其中,每架无人机作为ROS系统的一个部件,ROS Master运行在集群簇头飞机上,则无人机
集群的协同控制完全可以依靠ROS系统来实现。在ROS系统中,各节点之间采用发布/订阅机
制方式交互信息,所有节点首先都要向ROS Master注册,并且所有节点产生的消息首先都
要汇集到ROS Master的消息池中,然后再进行分发。因此,每架无人机都应该尽可能地与簇
头飞机保持稳定的通信连接。由于无人机机动范围大,无人机之间的通信距离也较大,为了
保证无人机之间的通信链路稳定,无人机往往会采用抗干扰能力强、传输距离远、传输速率
相对低的通信波形进行协同通信,从而完成协同控制消息的传输。但是当无人机集群完成
一个长距离、大数据量的实时中继任务时,无人机之间的低通信速率以及ROS系统先汇集再
分发的消息传输机制就会显得十分低效,甚至难以满足任务要求。
数据量大的实时中继任务时,簇头飞机可以控制无人机集群构建一条从数据源到指挥中心
的中继传输链路,并且根据无人机之间的距离以及中继传输链路速率要求,向参与构建中
继通信链路的无人机发送部署相应中继传输波形的命令,无人机接收到命令后,部署相应
中继传输波形,最后,实时数据通过相适应的中继传输波形传输至指挥中心。但是ROS系统
并不具备通信波形的管理和动态部署能力。软件通信体系结构(Software Communication
Architecture,SCA)作为软件无线电领域的一个重要体系结构,目前已十分成熟且已得到
了广泛应用。其具有通用的软硬件平台,能够管理和集成多种通信波形,具有波形动态部
署、波形易升级、波形易集成等优点,其完全可以弥补ROS系统在通信波形管理和部署方面
的劣势。因此,在协同控制与中继传输并重的场景下,将ROS控制系统和SCA通信系统进行高
效融合,能够有效提升无人机集群的中继传输任务完成效率。经前期的研究发现,目前还没
有关于ROS系统与SCA系统相互融合的研究成果公开。
发明内容
消息后,部署相应中继通信波形并飞往中继位置盘旋,然后向簇头飞机发送确认消息,当簇
头飞机收到所有参与建立中继通信链路的无人机的确认消息后,中继通信链路建立完毕;
能力,本发明基于协同控制信道与中继通信信道分离的设计思想,融合了ROS系统在协同控
制方面和SCA系统在通信波形管理部署方面的优势,即利用ROS系统来协同控制无人机集群
和利用SCA系统来动态部属通信波形,使得无人机集群能够根据任务需求构建相适应的视
频中继传输链路,便于无人机集群协同控制与视频信息实时中继传输;
系统的开放性和通用性,因此,用户可以将ROS系统和SCA系统上开发的应用部署到本发明
的装置中运行;
不同的CPU处理器上,耦合性弱,因此,控制端和通信端具备技术独立发展的技术条件,系统
升级容易。
附图说明
具体实施方式
本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他
实施例,都属于本发明保护的范围。
情况下做类似推广,因此本发明不受下面公开的具体实施例的限制。
到ROS消息后,部署相应中继通信波形并飞往中继位置盘旋,然后向簇头飞机发送确认消
息,当簇头飞机收到所有参与建立中继通信链路的无人机的确认消息后,中继通信链路建
立完毕;
波形称作协同控制通信波形;
道;
署到协同控制信道。
进行搜索目标;
信波形需要具备的最低传输能力以及建立中继通信链路所需无人机数量,然后选定参与建
立中继通信链路的无人机,并为这些无人机选定需要部署的中继通信波形和在中继通信链
路上盘旋的中继位置;
机主飞行控制节点向参与建立中继通信链路的无人机的从飞行控制节点发送包含中继位
置信息的ROS消息;
通信波形部署到中继通信信道;当参与建立中继通信链路的无人机的从飞行控制节点收到
包含中继位置信息的ROS消息后,飞往中继位置盘旋,并通过从管理节点向簇头飞机主管理
节点发送确认消息;簇头飞机主管理节点收到所有参与中继通信链路建立的无人机回复的
确认消息后,中继通信链路建立成功。
述第一控制接口、以太网口A以及以太网口B与所述第一CPU处理器双向连接;所述第一操作
系统层包括第一Linux系统,所述第一中间层包括客户端库模块、TCPROS/UDPROS模块、节点
API模块以及波形代理模块;所述第一应用层包括Master节点以及若干ROS节点;
道A以及信道B,所述第二控制接口、以太网口A’以及以太网口B’、信道A以及信道B与所述第
二CPU处理器双向连接;所述第二操作系统层包括第二Linux/VxWorks系统,所述第二中间
件层包括硬件抽象层、CORBA中间件以及SCA核心框架;所述第二应用层包括波形管理组件
以及若干个波形组件;
控制口以及以太网口连接;所述控制口用于分别连接波形代理模块和波形管理组件;
从空中接收到的数据转发给以太网口A’;所述信道B为支持通信波形动态部署的通信平台,
可作为中继通信信道并部署中继通信波形,信道B上运行的通信波形用于将来自以太网口
B’的数据发送到空中并将从空中接收到的数据转发给以太网口B’;
机载协同控制与中继传输系统,部署在无人机集群的簇头飞机上,如图5所示;
从管理节点发送包含协同控制命令的ROS消息,进而实现中继通信波形的协同部署;
过波形代理模块部署相应中继通信波形;
并飞往中继位置进行盘旋;
息,当中继通信链路建立后,能够将采集的视频信息通过中继通信链路传输至控制中心。
中继传输信道;
数;
对应的波形组件集合;每个波形编号对应至少一个波形组件;
编队包括一架簇头飞机和三架无人机,并且每架飞机上都安装了机载协同控制与中继传输
系统,该系统网络地址配置如下:
地址设置为10.90.1.254;信道A部署了用于传输ROS节点消息的通信波形,该通信波形具有
抗干扰能力强、通信距远、通信速率低等特点;
地址设置为10.90.2.254;信道A部署了用于传输ROS节点消息的通信波形;以太网口B对应
的IP地址为192.168.2.1,其网关设置为192.168.2.254、子网掩码为255.255.255.0;以太
网口B’对应的IP地址设置为192.168.2.254;信道B未部署通信波形,需根据实际任务需求
选择相应的中继通信波形进行部属;
地址设置为10.90.3.254;信道A部署了用于传输ROS节点消息的通信波形;以太网口B对应
的IP地址为192.168.3.1,其网关设置为192.168.3.254、子网掩码为255.255.255.0;以太
网口B’对应的IP地址设置为192.168.3.254;信道B未部署通信波形,需根据实际任务需求
选择相应的中继通信波形进行部属;
地址设置为10.90.4.254;信道A部署了用于传输ROS节点消息的通信波形;以太网口B对应
的IP地址为192.168.4.1,其网关设置为192.168.4.254、子网掩码为255.255.255.0;以太
网口B’对应的IP地址设置为192.168.4.254;信道B未部署通信波形,需根据实际任务需求
选择相应的中继通信波形进行部属;
飞行控制节点和摄像头节点)运行在IP地址为10.90.2.1、10.90.3.1和10.90.4.1的ROS系
统中;IP地址10.90.1.1、10.90.2.1、10.90.3.1和10.90.4.1基于协同控制波形互联互通;
同理,指挥中心、无人机A、无人机B和无人机C分别还存在IP地址192.168.1.1、
192.168.2.1、192.168.3.1和192.168.4.1,这四个IP地址能够基于信道B上的中继通信波
形进行互联互通。
路中所处的空间位置,然后向无人机A、无人机B和无人机C的从管理节点发送包含通信波形
编号(假设波形编号为0x1)以及波形部属命令的ROS消息;主飞行控制节点向无人机A和无
人机B的从飞行控制节点分别发送包含中继空间位置信息的ROS消息;
并将波形编号0x1对应的波形组件加载至信道B中的CPU、DSP和FPGA处理器上;当波形加载
成功,波形管理组件以LD为0x1、Payload为波形加载成功信息0x1(假设成功信息为0x1)构
建硬件抽象层消息并发送至波形代理模块的load_wave函数,load_wave函数则返回0x1并
退出。
在中继通信波形网络中的IP地址。