用于导弹舱段增强现实辅助装配的柔性配合系统及监测方法

摘要

一种用于导弹舱段增强现实辅助装配的柔性配合系统，包括：径向开合机构、垂直升降机构、轴向滑动机构、固定调节机构、标定参照调节机构和多个视觉传感器，径向开合机构控制系统Y轴方向运动，垂直升降机构控制系统Z轴方向运动，调整径向开合机构和垂直升降机构以适应不同直径的导弹舱段，轴向滑动机构控制系统X轴方向运动以调整与导弹舱段的轴向相对位置，视觉传感器设置于固定调节机构上以采集导弹舱段的装配过程要素信息，标定参照调节机构设置于径向开合机构上并随之运动以辅助生成AR装配信息。本发明适用于不同直径导弹舱段的AR辅助装配，通过建立虚实尺度一致的AR辅助装配环境的三维坐标系统，实现精确三维注册，提升装配效率。

权利要求

1.一种用于导弹舱段增强现实辅助装配的柔性配合系统，其特征在于，包括：径向开合机构、垂直升降机构、轴向滑动机构、固定调节机构、标定参照调节机构和多个视觉传感器，其中：径向开合机构控制系统Y轴方向运动，垂直升降机构控制系统Z轴方向运动，调整径向开合机构和垂直升降机构以适应不同直径的导弹舱段，轴向滑动机构控制系统X轴方向运动以调整与导弹舱段的轴向相对位置，视觉传感器设置于固定调节机构上以采集导弹舱段的装配过程要素信息，标定参照调节机构设置于径向开合机构上并随之运动以辅助生成AR装配信息；

所述的装配过程要素信息包括：导弹舱段装配过程中的零件识别、零件到位信息和装配动作检测信息；

所述的径向开合机构包括：滚轮支撑架、直线导轨、正反丝杆和伺服电机，其中：伺服电机为正反丝杆提供动能以带动滚轮支撑架在直线导轨上反向滑动；

所述的垂直升降机构包括：垂直丝杆、导柱导套组件和伺服电机，其中：伺服电机为垂直丝杆提供动能并由导柱导套组件导向带动系统垂直运动；

所述的固定调节机构包括：相机夹持架、纵向立杆和水平横杆，其中：相机夹持架设置于水平横杆上并沿水平横杆移动，纵向立杆与水平横杆相互配合。

2.根据权利要求1所述的系统，其特征是，所述的视觉传感器包括：零件识别视觉传感器和零件到位检测及装配动作检测视觉传感器，均沿固定调节机构的水平横杆和纵向立杆运动，实现两自由度调节并采集信息。

3.一种根据权利要求1或2所述系统的监测方法，其特征在于，运用图像采集算法处理舱段截面图像，即对导弹舱段进行CAD建模并提取三维包围盒，获取导弹舱段CAD模型投影，结合采集现场图像并计算获取的标记位姿矩阵得到强梯度图像的优势方向模板图像特征，再进行图像特征匹配，计算初始偏移矩阵和投影残差，对参数进行优化，最终获取最优偏移矩阵后确定标定相对位置参数，选取多个视觉传感器视角进行多次标定，获取最优相对位置参数，实现系统与导弹舱段的精确标定。

4.根据权利要求3所述的监测方法，其特征是，具体包括以下步骤：

1)根据导弹舱段参数以及装配的不同阶段设计适用的增强现实辅助装配的跟踪标记，并在确定的装配阶段将设计的相应跟踪标记固定在系统上；

2)在合适距离d0处利用所述图像采集算法近距离采集增强现实标记与导弹舱段截面的现场图像Ic，保证相机视野中的跟踪标记完整，采用辅助照明设备和背景板保证充足的光照；

3)识别现场图像中的增强现实跟踪标记，获取相机与跟踪标记之间的六维位姿关系，得到跟踪标记位姿矩阵TM；

4)在虚拟环境下，提取导弹舱段对应的CAD模型的三维包围盒，选择CAD模型3D‑BBX上每一个面，利用位姿矩阵TM在虚拟环境世界坐标系下进行投影，并经与现场图像进行叠加和感兴趣区域分割，得到模版图像{It1,It2,It3,It4,It5,It6}；

5)对现场图像Ic和模版图像{It1,It2,It3,It4,It5,It6}分别提取图像特征，并根据强梯度图像的优势方向模板特征进行图像匹配，计算跟踪标记与现场导弹舱段的初始偏移矩阵TOr；

6)在跟踪标记位姿矩阵TM的基础上，利用初始偏移矩阵TOr，对舱段CAD模型进行重投影，计算模型与导弹舱段实物的投影残差，优化偏移矩阵TOr，使模型投影与舱段实物完全重合，获取最优偏移矩阵TO0；

7)在不同距离{d1，d2，…，dn}上重复上述步骤，得到多个偏移矩阵{TO1，TO2，…，TOn}，并通过全局优化获取最优的偏移矩阵TO；

所述的视觉传感器和跟踪标记在装配过程中与导弹舱段保持相对静止，当标定后发生相对运动需要重新标定。

说明书

用于导弹舱段增强现实辅助装配的柔性配合系统及监测方法

技术领域

[0001] 本发明涉及的是一种导弹舱段装配领域的技术，具体是一种用于导弹舱段增强现实辅助装配的柔性配合系统及监测方法。

背景技术

[0002] 近年来，增强现实(Augmented Reality，AR)技术得到广泛关注，已被用于工业产品生命周期中。导弹舱段装配具有组件机构复杂、产品技术含量高的特点。现有技术对于导
弹对接与零部件装配主要是借助简单的机械设备和人工装配完成，对工人的技术水平和操
作经验要求较高。现有公开的舱段工装，通常仅考虑了人工装配的情况，对于舱位装配工
作，操作人员需要在多个位置，从多种角度对舱段进行装配操作。因而若采用增强现实技术
辅助装配则需要使用多个增强现实跟踪标记和视觉传感器，以保证增强现实辅助装配信息
的无缝叠加显示，进而对跟踪标记以及视觉传感器的摆放位置提出较高的要求。

发明内容

[0003] 本发明针对现有技术存在的上述不足，提出一种用于导弹舱段增强现实辅助装配的柔性配合系统及监测方法，通过柔性配合系统方便快速的固定视觉传感器和AR跟踪标
记，以便于基于AR技术的导弹舱段辅助装配的进行，同时对跟踪标记以及导弹舱段的相对
位置参数进行快速、精确标定，实现基于AR跟踪标记的导弹舱段增强现实辅助装配自动初
始化，为后续导弹舱段增强现实辅助装配工作提供基础。

[0004] 本发明是通过以下技术方案实现的：

[0005] 本发明涉及一种用于导弹舱段增强现实辅助装配的柔性配合系统，包括：径向开合机构、垂直升降机构、轴向滑动机构、固定调节机构、标定参照调节机构和多个视觉传感
器，其中：径向开合机构控制系统Y轴方向运动，垂直升降机构控制系统Z轴方向运动，调整
径向开合机构和垂直升降机构以适应不同直径的导弹舱段，轴向滑动机构控制系统X轴方
向运动以调整与导弹舱段的轴向相对位置，视觉传感器设置于固定调节机构上以采集导弹
舱段的装配过程要素信息，标定参照调节机构设置于径向开合机构上并随之运动以辅助生
成AR装配信息。

[0006] 所述的径向开合机构包括：滚轮支撑架、直线导轨、正反丝杆和伺服电机，其中：伺服电机为正反丝杆提供动能以带动滚轮支撑架在直线导轨上反向滑动。

[0007] 所述的垂直升降机构包括：垂直丝杆、导柱导套组件和伺服电机，其中：伺服电机为垂直丝杆提供动能并由导柱导套组件导向带动系统垂直运动。

[0008] 所述的固定调节机构包括：相机夹持架、纵向立杆和水平横杆，其中：相机夹持架设置于水平横杆上并沿水平横杆移动，纵向立杆与水平横杆相互配合。

[0009] 本发明涉及一种用于导弹舱段增强现实辅助装配的柔性配合系统的监测方法，通过图像采集算法处理舱段截面图像，即对导弹舱段进行CAD建模并提取三维包围盒，获取导
弹舱段CAD模型投影，结合采集现场图像并计算获取的标记位姿矩阵并提取DOT‑SIG图像特
征，再进行图像特征匹配，计算初始偏移矩阵和投影残差，对参数进行优化，最终获取最优
偏移矩阵后确定标定相对位置参数，选取多个视觉传感器的视角进行多次标定，获取最优
相对位置参数，实现系统与导弹舱段的精确标定。

[0010] 技术效果

[0011] 本发明整体解决了现有技术针对现有导弹舱段工装对视觉传感器和AR跟踪标记的固定和标定困难的问题，通过柔性配合系统快速固定视觉传感器和AR跟踪标记，并通过
图像特征标定AR跟踪标记和导弹舱段的相对位置关系，实现基于跟踪标记的导弹舱段AR辅
助装配的初始化工作。

[0012] 与现有技术相比，本发明能够对AR跟踪标记和导弹舱段的相对位置参数进行快速、精确标定，适用于不同直径导弹舱段的增强现实辅助装配，固定导弹与工装的相对位置
关系，通过采集工装图像与导弹舱段图像，利用一种基于全局梯度的图像特征来标定工装
与舱段的相对位置参数，建立虚实尺度一致的增强现实辅助装配环境的三维坐标系统，并
结合工装上视觉传感器采集的装配过程要素信息，实现导弹舱段增强现实辅助装配可视化
信息的精确三维注册，从而提高装配人员对装配工艺信息的认知准确程度，进一步提升装
配效率。

附图说明

[0013] 图1为本发明系统的结构示意图；

[0014] 图2为径向开合机构示意图；

[0015] 图3为垂直升降机构示意图；

[0016] 图4为固定调节机构示意图；

[0017] 图5为本发明方法的示意图；

[0018] 图6为本发明方法的算法流程图；

[0019] 图中：支撑板1、径向开合机构2、垂直升降机构3、轴向滑动机构4、固定调节机构5、标定物参照调节机构6、第一视觉传感器7、第二视觉传感器8、导弹舱段9、滚轮支撑架10、直
线导轨11、正反丝杆12、伺服电机13、垂直丝杆14、导柱导套组件15、伺服电机16、相机夹持
架17、纵向立杆18、水平横杆19。

具体实施方式

[0020] 如图1所示，本实施例涉及一种用于导弹舱段增强现实辅助装配的柔性配合系统，包括：支撑板1、径向开合机构2、垂直升降机构3、轴向滑动机构4、固定调节机构5、标定参照
调节机构6、用于零件识别的第一视觉传感器7和用于零件到位检测及装配动作检测的第二
视觉传感器8，其中：径向开合机构2设置于支撑板1上并控制系统Y轴方向运动，垂直升降机
构3设置于支撑板1的下方并控制系统Z轴方向运动，调整径向开合机构2和垂直升降机构3
以适应不同直径的导弹舱段9，轴向滑动机构4与垂直升降机构3连接并控制系统X轴方向运
动，径向开合机构2、垂直升降机构3和轴向滑动机构4相互配合以适应导弹舱段9装配作业
平面轴向进深变化固定系统与导弹舱段9的相对位置关系，第一视觉传感器7和第二视觉传
感器8均沿固定调节机构5的水平横杆和纵向立杆运动，实现两自由度调节并采集导弹舱段
9的装配过程要素信息，标定参照调节机构6设置于径向开合机构2上并随之运动以辅助生
成AR装配信息。

[0021] 所述的装配过程要素信息包括：导弹舱段9装配过程中的零件识别、零件到位信息和装配动作检测信息。

[0022] 如图2所示，所述的径向开合机构2包括：滚轮支撑架10、直线导轨11、正反丝杆12和伺服电机13，其中：伺服电机为正反丝杆提供动能以带动滚轮支撑架在直线导轨上反向
滑动，实现滚轮支撑架之间的间距不同。

[0023] 如图3所示，所述的垂直升降机构3包括：垂直丝杆14、导柱导套组件15和伺服电机16，其中：伺服电机为垂直丝杆提供动能并由导柱导套组件导向，实现支撑板1的垂直运动，
控制支撑板1与导弹舱段9之间的距离。

[0024] 如图4所示，所述的固定调节机构5包括：相机夹持架17、纵向立杆18和水平横杆19，其中：相机夹持架设置于水平横杆上并沿水平横杆移动，纵向立杆与水平横杆相互配
合。

[0025] 如图5和图6所示，本实施例涉及上述系统的监测方法，具体包括以下步骤：

[0026] 1)根据导弹舱段9的参数以及装配的不同阶段设计适用的增强现实辅助装配的跟踪标记，并在确定的装配阶段将设计的相应跟踪标记固定在系统上；

[0027] 2)在合适距离d0处利用所述图像采集系统近距离采集增强现实标记与导弹舱段9截面的现场图像Ic，保证相机视野中的跟踪标记完整，采用辅助照明设备和背景板保证充
足的光照；

[0028] 3)识别现场图像中的增强现实跟踪标记，获取相机与跟踪标记之前的六维位姿关系，得到跟踪标记位姿矩阵TM；

[0029] 4)在虚拟环境下，提取导弹舱段9对应的CAD模型的三维包围盒(3D Bounding Box，3D‑BBX)，选择CAD模型3D‑BBX上每一个面，利用位姿矩阵TM在虚拟环境世界坐标系下
进行投影，并与现场图像进行叠加与感兴趣区域(Region of Interest，ROI)分割，得到模
版图像{It1,It2,It3,It4,It5,It6}；

[0030] 5)对现场图像Ic和模版图像{It1,It2,It3,It4,It5,It6}分别提取图像特征，并根据DOT‑SIG(Dominant Orientation Templates of Strong Image Gradient，DOT‑SIG)特征
进行图像匹配，计算跟踪标记与现场导弹舱段9的初始偏移矩阵TOr；

[0031] 6)在跟踪标记位姿矩阵TM的基础上，利用初始偏移矩阵TOr，对舱段CAD模型进行重投影，计算模型与导弹舱段9实物的投影残差，优化偏移矩阵TOr，使模型投影与舱段实物完
全重合，获取最优偏移矩阵TO0；

[0032] 7)在不同距离{d1,d2,…,dn}上重复上述步骤，得到多个偏移矩阵{TO1,TO2,…,TOn,}，并通过全局优化获取最优的偏移矩阵TO。

[0033] 所述的视觉传感器和跟踪标记在装配过程中与导弹舱段9保持相对静止，当标定后发生相对运动需要重新标定。

[0034] 经过具体实际实验，在某型号的导弹舱段装配的环境设置下，采集分辨率为1920×1080的图像进行舱段标定，能够实现平均标定时间为12.23s，平均标定相对尺度误差为
1.9％，标定参数格式为4×4矩阵。

[0035] 与现有技术相比，本发明通过柔性配合系统固定导弹与工装的相对位置关系，通过采集工装图像与导弹舱段图像，利用基于全局梯度的图像特征实现工装与舱段相对位置
参数的精确快速标定，减少现有方法手工调节位置参数的时间，减少现有方法的标定误差，
提高三维注册精度，提升装配工作效率。

[0036] 上述具体实施可由本领域技术人员在不背离本发明原理和宗旨的前提下以不同的方式对其进行局部调整，本发明的保护范围以权利要求书为准且不由上述具体实施所
限，在其范围内的各个实现方案均受本发明之约束。