本发明涉及智能装配技术领域，尤其涉及一种基于增强现实的人机协同装配系统，包括，环境处理端、AR眼镜以及协作服务器。本发明通过设置环境处理端对人机协作装配台的现实环境进行处理，并根据AR眼镜的摄像装置采集的人机协作装配台范围的实时装配图像生成现实环境信息投射在AR眼镜中，实现AR的虚实结合，便于装配操作人员更容易进行人机协同，通过设置协作服务器对AR眼镜中投射的现实环境信息进行融合投射，能够将装配说明信息实时地投射在AR眼镜中，并根据装配说明信息进行颜色标记、装配类型顺序、装配类型位置以及错误提示的虚拟指引，均投射在AR眼镜中，提高了装配的识别准确度，也保障了人机协同的装配效果。
1.一种基于增强现实的人机协同装配系统，其特征在于，包括，
环境处理端，其用以对人机协作装配台的现实环境进行环境扫描生成初始环境信息，所述环境处理端还能够将实时装配图像转换为实时装配信息，并将实时装配信息与初始环境信息进行匹配，生成现实环境信息；
AR眼镜，其与所述环境处理端相连，所述AR眼镜包括摄像装置与显示装置，所述摄像装置用以获取所述人机协作装配台范围的实时装配图像，所述显示装置用以投射所述环境处理端生成的现实环境信息；
协作服务器，其与所述环境处理端和所述AR眼镜分别相连，所述协作服务器能够获取环境处理端生成的初始环境信息，并将其转化为若干初始环境图像，协作服务器能够对初始环境图像中的各装配件的类型进行识别，并根据各装配件的类型进行颜色标记与位置标记，将带有颜色标记的各装配件图像转化为现实配件信息，并将现实配件信息与现实环境信息融合在所述AR眼镜的显示装置中投射；所述协作服务器能够将装配说明信息投射在所述显示装置中，并根据装配说明信息对现实环境信息中各装配件的装配类型顺序与装配类型位置进行判定，以确定是否在AR眼镜进行错误提示的投射；
所述协作服务器中设置有装配件类型数据库，所述装配件类型数据库中储存有各装配件类型的形状信息、颜色信息以及尺寸信息，协作服务器在对初始环境图像中的任意一装配件的类型进行识别时，获取装配件的实时形状信息，并将实时形状信息与装配件类型数据库中储存的各装配件类型的形状信息依次计算图形相似度St，并根据协作服务器中设定的标准相似度Sb对计算出的任意一装配件类型的形状信息与实时形状信息的图形相似度St进行判定，当St＜Sb时，所述协作服务器判定该装配件类型为无效匹配，不对该装配件类型进行选择；
当St≥Sb时，所述协作服务器判定该装配件类型为有效匹配，将该装配件类型标记为匹配类型；
所述协作服务器在对所述装配件类型数据库中储存的全部装配件类型完成图形相似度St的判定时，协作服务器对匹配类型的数量进行判定，若标记的匹配类型的数量为零，所述协作服务器将在初始环境信息转化的若干初始环境图像中，选择除当前识别的初始环境图像外任意一初始环境图像进行该装配件的类型的识别，直至使该装配件类型的标记的匹配类型的数量不为零；
若标记的匹配类型的数量为一，所述协作服务器判定该装配件的类型为标记的匹配类型，将根据装配说明信息中该匹配类型的颜色信息对该装配件进行颜色标记，并在初始环境信息中获取该装配件的位置信息进行位置标记；
若标记的匹配类型的数量大于一，所述协作服务器将对标记的各匹配类型的尺寸信息进行判定，以对该装配件进行颜色标记；
所述协作服务器在标记的匹配类型的数量大于一时，在初始环境图像中获取该装配件的图像面积信息，并在初始环境信息中获取该装配件的位置信息并计算相对扫描距离，协作服务器根据相对扫描距离与图像面积信息计算该装配件的实际尺寸信息，并将实际尺寸信息与标记的各匹配类型的尺寸信息进行依次做差，并将标记的各匹配类型的尺寸信息与实际尺寸信息差值的绝对值从小到大排列，选取排列中尺寸信息与实际尺寸信息差值的绝对值最小的匹配类型作为该装配件的类型，根据装配说明信息中该匹配类型的颜色信息对该装配件进行颜色标记，并在初始环境信息中获取该装配件的位置信息进行位置标记；
所述协作服务器能够对装配说明信息进行解析，获取各装配件类型的装配类型顺序与装配类型位置，在所述现实环境信息中的任意一装配件进行装配时，所述摄像装置获取该装配件标记的颜色，根据该装配件标记的颜色确定该装配件的类型，并根据预设装配顺序对该装配件的类型进行判断，若该装配件的类型为装配类型顺序中当前装配类型时，所述协作服务器将在装配说明信息中获取当前装配类型对应的装配类型位置进行判定，以确定该装配件是否装配完成；
若该装配件的类型不为装配类型顺序中当前装配类型时，所述协作服务器将在所述显示装置中进行错误提示的投射，并根据当前装配类型在现实环境信息中选取对应的装配件创建虚拟指引，并将虚拟指引融合在现实环境信息中投射至显示装置；
所述协作服务器内设置有标准装配偏置距离Lb，协作服务器在该装配件的类型为装配类型顺序中当前装配类型时，获取装配说明信息中当前装配类型对应的装配类型位置，并在现实环境信息中获取该装配件的实时装配位置，协作服务器根据实时装配位置与装配类型位置计算实时装配偏置距离Ls，并将实时装配偏置距离Ls与标准装配偏置距离Lb进行对比，当Ls≤Lb时，所述协作服务器判定实时装配偏置距离未超出标准装配偏置距离，协作服务器将在所述显示装置中进行装配完成的投射，并根据装配类型顺序中的下一装配类型在现实环境信息中选取对应的装配件创建虚拟指引，并将虚拟指引融合在现实环境信息中投射至显示装置；
当Ls＞Lb时，所述协作服务器判定实时装配偏置距离已超出标准装配偏置距离，协作服务器将在所述显示装置中进行错误提示的投射。
2.根据权利要求1所述的基于增强现实的人机协同装配系统，其特征在于，所述AR眼镜内还设置有语音装置，用以接收语音指令，所述协作服务器内设置有快速执行指令字符数，协作服务器能够对语音指令进行识别，获取语音指令的实时指令字符数，并根据快速执行指令字符数对实时指令字符数进行判定，若实时指令字符数未超出快速执行指令字符数，协作服务器将对语音指令进行关键词提取，并根据提取的关键词执行动作；
若实时指令字符数已超出快速执行指令字符数，协作服务器将对语音指令进行指令词提取并匹配，以确定语音指令的执行类型。
3.根据权利要求2所述的基于增强现实的人机协同装配系统，其特征在于，所述协作服务器内设置有第一指令词库与第二指令词库，协作服务器在实时指令字符数已超出快速执行指令字符数时，将对语音指令进行指令词提取，得到语音指令词，并将语音指令词与第一指令词库和第二指令词库进行匹配，若语音指令词与第一指令词库匹配时，所述协作服务器判定语音指令的执行类型为语法识别，将对语音指令进行语意理解，并控制协助机器人以语意理解结果执行动作；
若语音指令词与第二指令词库匹配时，所述协作服务器判定语音指令的执行类型为听写识别，将对语音指令转化为文字进行输入；
若语音指令词与第一指令词库和第二指令词库均不匹配时，所述协作服务器判定语音指令为无效指令，协作服务器将在所述显示装置中进行错误提示的投射；
其中，第一指令词库中的各指令词与第二指令词库中的各指令词无重复。
4.根据权利要求1所述的基于增强现实的人机协同装配系统，其特征在于，在所述AR眼镜端的开发中直接接入Vuforia SDK，在所述环境处理端的开发中将ARFoundation SDK套装在ARKit之上，再将Vuforia SDK套装在ARFoundation之上，利用Vuforia的AreaTarget能力将所述人机协作装配台的现实环境扫描成3D Mesh信息并保存下来，将3D Mesh导入Unity 3D引擎，形成初始环境信息，利用ARKit和SLAM的设备底层能力再次扫描现场环境，将解算出的实时装配信息和初始环境信息进行匹配，生成现实环境信息并投射在AR眼镜的显示装置中，完成现实环境信息的投射。
5.根据权利要求1所述的基于增强现实的人机协同装配系统，其特征在于，所述协作服务器在进行任意一装配件类型形状信息的图形相似度St计算时，协作服务器在初始环境图像中获取装配件实时形状信息，并截取装配件实时图像，对装配件实时图像进行缩放，使其与装配件类型数据库中储存的装配件类型的形状信息图像的图像面积相等，并将两图像进行重合，计算图形相似度St；
其中，St=Mc/Md，其中，Mc为缩放后装配件实时图像与形状信息图像重合的图像面积，Md为形状信息图像的图像面积。
基于增强现实的人机协同装配系统
技术领域
[0001] 本发明涉及智能装配技术领域，尤其涉及一种基于增强现实的人机协同装配系统。
背景技术
[0002] 在传统制造企业中，产品装配环节会花费大量时间，产品装配的质量会直接影响产品的性能，因此产品装配是一项非常重要的生产活动；在装配过程中，装配人员会面临诸多困难，例如装配过程需要很多经验和技巧、装配步骤繁多、装配重复性高造成人员过度疲劳等，目前，产品装配技术主要有两种典型的形式，培训加纸质操作指导说明书与培训加电子操作指导说明书；首先培训加纸质操作指导说明书的形式，培训主要包括理论基础知识、工艺流程、安全规范和实操培训等，通过培训让员工对将要从事的工作有大致了解，在工作中，会持续地进行各种技能培训，更好地帮助员工不断提升能力和装配经验，纸质操作指导说明书是员工进行装配工作的指南性文件，该文档中详细记录了装配工艺流程、装配步骤、装配图纸和产品物料清单等信息，对于经验丰富的员工，可以轻松地根据指导说明书完成装配工作，但对于新员工，晦涩难懂的描述和二维图纸会给他们带来极大的困难，由于缺乏装配技巧，可能会导致漏装、错装零部件，甚至可能会损坏零件，造成不必要的损失；而培训加电子操作指导说明书的方式，电子操作指导说明书相较于纸质说明书，不仅可以节省大量纸张、耗材和打印机，播放图片、word、Exce l、PPT和高清视频等多媒体资料，还可以更加灵活地进行更新和发布，通常会将电子SOP终端固定在工作台上，方便装配人员查看，电子SOP被广泛地应用于电气、电子行业、汽车和手机等行业。
[0003] 目前的传统装配中存在诸多问题，如在工业现场多采用师傅带徒弟的培训方式，一对一学习人力成本高、效率低下，工业装配中依靠装配图纸或者视频培训方式，不够直观，装配人员很难看懂装配指导书，容易造成错装、漏装等问题，在产品装配过程中，装配人员无法摆脱路径依赖，需要长期积累经验才能够快速、准确地完成任务，当现场需要搬运重物和危险品，以及需要进行大量重复而枯燥的任务时，会对装配人员的安全构成威胁，容易发生安全事故，学习装配的过程中需要手持指导书，不能实现双手作业，在特殊环境下不能腾出双手进行操作，装配人员在每个步骤的操作信息没办法记录，无法对操作数据进行分析，提供具有针对性的培训，不利于装配人员的技能提升，因此，人机协同的智能装配成为了目前装配作业的主要发展方向。
[0004] 中国专利公开号：CN110744549A，公开了一种基于人机协同的智能装配工艺；其技术点是通过手势识别、语音识别处理操作人员发出的信息，由机械臂完成装配动作，由此可见，在现有的人机协同装配作业中，缺少智能装备根据装配工况根据对操作人员的反馈过程，导致识别精度低，不仅难以提高人机协同装配的装配精度与装配效率，还由于实际操作端缺少相应的纠正反馈，出现大型重物装配风险高的问题。
发明内容
[0005] 为此，本发明提供一种基于增强现实的人机协同装配系统，用以克服现有技术中人机协同装配的识别精度低，导致装配效果差的问题。
[0006] 为实现上述目的，本发明提供一种基于增强现实的人机协同装配系统，包括，[0007] 环境处理端，其用以对人机协作装配台的现实环境进行环境扫描生成初始环境信息，所述环境处理端还能够将实时装配图像转换为实时装配信息，并将实时装配信息与初始环境信息进行匹配，生成现实环境信息；
[0008] AR眼镜，其与所述环境处理端相连，所述AR眼镜包括摄像装置与显示装置，所述摄像装置用以获取所述人机协作装配台范围的实时装配图像，所述显示装置用以投射所述环境处理端生成的现实环境信息；
[0009] 协作服务器，其与所述环境处理端和所述AR眼镜分别相连，所述协作服务器能够获取环境处理端生成的初始环境信息，并将其转化为若干初始环境图像，协作服务器能够对初始环境图像中的各装配件的类型进行识别，并根据各装配件的类型进行颜色标记与位置标记，将带有颜色标记的各装配件图像转化为现实配件信息，并将现实配件信息与现实环境信息融合在所述AR眼镜的显示装置中投射；所述协作服务器能够将装配说明信息投射在所述显示装置中，并根据装配说明信息对现实环境信息中各装配件的装配类型顺序与装配类型位置进行判定，以确定是否在AR眼镜进行错误提示的投射。
[0010] 进一步地，所述协作服务器中设置有装配件类型数据库，所述装配件类型数据库中储存有各装配件类型的形状信息、颜色信息以及尺寸信息，协作服务器在对初始环境图像中的任意一装配件的类型进行识别时，获取装配件的实时形状信息，并将实时形状信息与装配件类型数据库中储存的各装配件类型的形状信息依次计算图形相似度St，并根据协作服务器中设定的标准相似度Sb对计算出的任意一装配件类型的形状信息与实时形状信息的图形相似度St进行判定，
[0011] 当St＜Sb时，所述协作服务器判定该装配件类型为无效匹配，不对该装配件类型进行选择；
[0012] 当St≥Sb时，所述协作服务器判定该装配件类型为有效匹配，将该装配件类型标记为匹配类型。
[0013] 进一步地，所述协作服务器在对所述装配件类型数据库中储存的全部装配件类型完成图形相似度St的判定时，协作服务器对匹配类型的数量进行判定，
[0014] 若标记的匹配类型的数量为零，所述协作服务器将在初始环境信息转化的若干初始环境图像中，选择除当前识别的初始环境图像外任意一初始环境图像进行该装配件的类型的识别，直至使该装配件类型的标记的匹配类型的数量不为零；
[0015] 若标记的匹配类型的数量为一，所述协作服务器判定该装配件的类型为标记的匹配类型，将根据装配说明信息中该匹配类型的颜色信息对该装配件进行颜色标记，并在初始环境信息中获取该装配件的位置信息进行位置标记；
[0016] 若标记的匹配类型的数量大于一，所述协作服务器将对标记的各匹配类型的尺寸信息进行判定，以对该装配件进行颜色标记。
[0017] 进一步地，所述协作服务器在标记的匹配类型的数量大于一时，在初始环境图像中获取该装配件的图像面积信息，并在初始环境信息中获取该装配件的位置信息并计算相对扫描距离，协作服务器根据相对扫描距离与图像面积信息计算该装配件的实际尺寸信息，并将实际尺寸信息与标记的各匹配类型的尺寸信息进行依次做差，并将标记的各匹配类型的尺寸信息与实际尺寸信息差值的绝对值从小到大排列，选取排列中尺寸信息与实际尺寸信息差值的绝对值最小的匹配类型作为该装配件的类型，根据装配说明信息中该匹配类型的颜色信息对该装配件进行颜色标记，并在初始环境信息中获取该装配件的位置信息进行位置标记。
[0018] 进一步地，所述协作服务器能够对装配说明信息进行解析，获取各装配件类型的装配类型顺序与装配类型位置，在所述现实环境信息中的任意一装配件进行装配时，所述摄像装置获取该装配件标记的颜色，根据该装配件标记的颜色确定该装配件的类型，并根据预设装配顺序对该装配件的类型进行判断，
[0019] 若该装配件的类型为装配类型顺序中当前装配类型时，所述协作服务器将在装配说明信息中获取当前装配类型对应的装配类型位置进行判定，以确定该装配件是否装配完成；
[0020] 若该装配件的类型不为装配类型顺序中当前装配类型时，所述协作服务器将在所述显示装置中进行错误提示的投射，并根据当前装配类型在现实环境信息中选取对应的装配件创建虚拟指引，并将虚拟指引融合在现实环境信息中投射至显示装置。
[0021] 进一步地，所述协作服务器内设置有标准装配偏置距离Lb，协作服务器在该装配件的类型为装配类型顺序中当前装配类型时，获取装配说明信息中当前装配类型对应的装配类型位置，并在现实环境信息中获取该装配件的实时装配位置，协作服务器根据实时装配位置与装配类型位置计算实时装配偏置距离Ls，并将实时装配偏置距离Ls与标准装配偏置距离Lb进行对比，
[0022] 当Ls≤Lb时，所述协作服务器判定实时装配偏置距离未超出标准装配偏置距离，协作服务器将在所述显示装置中进行装配完成的投射，并根据装配类型顺序中的下一装配类型在现实环境信息中选取对应的装配件创建虚拟指引，并将虚拟指引融合在现实环境信息中投射至显示装置；
[0023] 当Ls＞Lb时，所述协作服务器判定实时装配偏置距离已超出标准装配偏置距离，协作服务器将在所述显示装置中进行错误提示的投射。
[0024] 进一步地，所述AR眼镜内还设置有语音装置，用以接收语音指令，所述协作服务器内设置有快速执行指令字符数，协作服务器能够对语音指令进行识别，获取语音指令的实时指令字符数，并根据快速执行指令字符数对实时指令字符数进行判定，
[0025] 若实时指令字符数未超出快速执行指令字符数，协作服务器将对语音指令进行关键词提取，并根据提取的关键词执行动作；
[0026] 若实时指令字符数已超出快速执行指令字符数，协作服务器将对语音指令进行指令词提取并匹配，以确定语音指令的执行类型。
[0027] 进一步地，所述协作服务器内设置有第一指令词库与第二指令词库，协作服务器在实时指令字符数已超出快速执行指令字符数时，将对语音指令进行指令词提取，得到语音指令词，并将语音指令词与第一指令词库和第二指令词库进行匹配，
[0028] 若语音指令词与第一指令词库匹配时，所述协作服务器判定语音指令的执行类型为语法识别，将对语音指令进行语意理解，并控制协助机器人以语意理解结果执行动作；
[0029] 若语音指令词与第二指令词库匹配时，所述协作服务器判定语音指令的执行类型为听写识别，将对语音指令转化为文字进行输入；
[0030] 若语音指令词与第一指令词库和第二指令词库均不匹配时，所述协作服务器判定语音指令为无效指令，协作服务器将在所述显示装置中进行错误提示的投射；
[0031] 其中，第一指令词库中的各指令词与第二指令词库中的各指令词无重复。
[0032] 进一步地，在所述AR眼镜端的开发中直接接入Vufor ia SDK，在所述环境处理端的开发中将ARFoundat ion SDK套装在ARKit之上，再将Vufor ia SDK套装在ARFoundat ion之上，利用Vufor ia的AreaTarget能力将所述人机协作装配台的现实环境扫描成3D Mesh信息并保存下来，将3D Mesh导入Un ity 3D引擎，形成初始环境信息，利用ARKit和SLAM的设备底层能力再次扫描现场环境，将解算出的实时装配信息和初始环境信息进行匹配，生成现实环境信息并投射在AR眼镜的显示装置中，完成现实环境信息的投射。
[0033] 进一步地，所述协作服务器在进行任意一装配件类型形状信息的图形相似度St计算时，协作服务器在初始环境图像中获取装配件实时形状信息，并截取装配件实时图像，对装配件实时图像进行缩放，使其与装配件类型数据库中储存的装配件类型的形状信息图像的图像面积相等，并将两图像进行重合，计算图形相似度St；
[0034] 其中，St＝Mc/Md，其中，Mc为缩放后装配件实时图像与形状信息图像重合的图像面积，Md为形状信息图像的图像面积。
[0035] 与现有技术相比，本发明的有益效果在于，通过设置环境处理端对人机协作装配台的现实环境进行处理，并根据AR眼镜的摄像装置采集的人机协作装配台范围的实时装配图像生成现实环境信息投射在AR眼镜中，实现AR的虚实结合，便于装配操作人员更容易进行人机协同，通过设置协作服务器对AR眼镜中投射的现实环境信息进行融合投射，能够将装配说明信息实时地投射在AR眼镜中，并根据装配说明信息进行颜色标记、装配类型顺序、装配类型位置以及错误提示的虚拟指引，均投射在AR眼镜中，提高了装配的识别准确度，也保障了人机协同的装配效果。
[0036] 进一步地，增强现实技术为装配人员提供了虚实结合的装配环境，使装配人员能够及时获取装配操作过程中所需的信息，所有信息以全息方式显示在操作空间中，减轻装配人员的记忆和认知负担。
[0037] 尤其，使用AR眼镜，装配人员不用放下工具去翻看纸质文档或电子说明书，节约了来回切换的时间，提高了装配效率，使用AR眼镜控制协助机器人，不仅可以帮助装配人员完成重物、危险品的搬运，还可以完成重复而枯燥的任务，为装配人员留下更多时间去处理更复杂的工作，从而改善了装配人员的日常体验。
[0038] 进一步地，装配人员一旦出现错装、漏装等问题，AR眼镜将及时报警并提示装配人员纠正，否则被错装的产品将无法进入下一道安装工序，与传统的纸质或电子装配指导手册相比，装配人员所有的操作都会被记录，通过对数据进行整合和分析，可以生成工作报告，帮助装配人员更好地改进和提升。
[0039] 进一步地，佩戴AR眼镜的装配人员可以通过语音与系统进行交互，语音输入需要进行的操作，眼镜上就会显示出相应的操作步骤和3D动画，相比手势操作更加灵活方便。
附图说明
[0040] 图1为本发明实施例所述基于增强现实的人机协同装配系统的示意图。
具体实施方式
[0041] 为了使本发明的目的和优点更加清楚明白，下面结合实施例对本发明作进一步描述；应当理解，此处所描述的具体实施例仅仅用于解释本发明，并不用于限定本发明。
[0042] 下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非在限制本发明的保护范围。
[0043] 需要说明的是，在本发明的描述中，术语“上”、“下”、“左”、“右”、“内”、“外”等指示的方向或位置关系的术语是基于附图所示的方向或位置关系，这仅仅是为了便于描述，而不是指示或暗示所述装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
[0044] 此外，还需要说明的是，在本发明的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域技术人员而言，可根据具体情况理解上述术语在本发明中的具体含义。
[0045] 请参阅图1所示，其为本发明实施例所述基于增强现实的人机协同装配系统的示意图，本实施例公开一种基于增强现实的人机协同装配系，包括，
[0046] 环境处理端，其用以对人机协作装配台的现实环境进行环境扫描生成初始环境信息，所述环境处理端还能够将实时装配图像转换为实时装配信息，并将实时装配信息与初始环境信息进行匹配，生成现实环境信息；
[0047] AR眼镜，其与所述环境处理端相连，所述AR眼镜包括摄像装置与显示装置，所述摄像装置用以获取所述人机协作装配台范围的实时装配图像，所述显示装置用以投射所述环境处理端生成的现实环境信息；
[0048] 协作服务器，其与所述环境处理端和所述AR眼镜分别相连，所述协作服务器能够获取环境处理端生成的初始环境信息，并将其转化为若干初始环境图像，协作服务器能够对初始环境图像中的各装配件的类型进行识别，并根据各装配件的类型进行颜色标记与位置标记，将带有颜色标记的各装配件图像转化为现实配件信息，并将现实配件信息与现实环境信息融合在所述AR眼镜的显示装置中投射；所述协作服务器能够将装配说明信息投射在所述显示装置中，并根据装配说明信息对现实环境信息中各装配件的装配类型顺序与装配类型位置进行判定，以确定是否在AR眼镜进行错误提示的投射。
[0049] 在本实施例中，
[0050] AR眼镜的配置，CPU:Qua lcomm Snapdragon 850,内存:4GB,存储:64GB,LPDDR4x系统DRAM,惯性测量单元(IMU):加速计、陀螺仪、磁力仪,相机:8‑MP静止图像、1080p30视频。
[0051] 协作服务器配置，CPU： 银牌4210R 2.4G,10C/20T,9.6GT/s,13.75M缓存,Turbo,HT，内存：16GB 3200MHz DDR4 ECC RDIMM内存，硬盘：480G SATA协议固态硬盘。
[0052] 协助机器人配置，自由度：6，臂展：924.5mm，负载：5Kg，重量：24Kg，定位精度：±0.02mm，功率：200W，环境温度：0‑45℃，防护等级：I P54。
[0053] 环境处理端配置，屏幕尺寸：11英寸，分辨率：2388x 1668，存储容量：128G，网络连接：无线局域网802.11ax、同步双频(2.4GHz和5GHz)、蓝牙5.0技术。
[0054] 通过设置环境处理端对人机协作装配台的现实环境进行处理，并根据AR眼镜的摄像装置采集的人机协作装配台范围的实时装配图像生成现实环境信息投射在AR眼镜中，实现AR的虚实结合，便于装配操作人员更容易进行人机协同，通过设置协作服务器对AR眼镜中投射的现实环境信息进行融合投射，能够将装配说明信息实时地投射在AR眼镜中，并根据装配说明信息进行颜色标记、装配类型顺序、装配类型位置以及错误提示的虚拟指引，均投射在AR眼镜中，提高了装配的识别准确度，也保障了人机协同的装配效果。
[0055] 在本实施例中，装配人员所有的操作都会被记录，然后将信息反馈给协作服务器，通过算法对数据进行整合和分析，最终可以生成工作报告，帮助装配人员更好地改进和提升。
[0056] 具体而言，所述协作服务器中设置有装配件类型数据库，所述装配件类型数据库中储存有各装配件类型的形状信息、颜色信息以及尺寸信息，协作服务器在对初始环境图像中的任意一装配件的类型进行识别时，获取装配件的实时形状信息，并将实时形状信息与装配件类型数据库中储存的各装配件类型的形状信息依次计算图形相似度St，并根据协作服务器中设定的标准相似度Sb对计算出的任意一装配件类型的形状信息与实时形状信息的图形相似度St进行判定，
[0057] 当St＜Sb时，所述协作服务器判定该装配件类型为无效匹配，不对该装配件类型进行选择；
[0058] 当St≥Sb时，所述协作服务器判定该装配件类型为有效匹配，将该装配件类型标记为匹配类型。
[0059] 具体而言，所述协作服务器在对所述装配件类型数据库中储存的全部装配件类型完成图形相似度St的判定时，协作服务器对匹配类型的数量进行判定，
[0060] 若标记的匹配类型的数量为零，所述协作服务器将在初始环境信息转化的若干初始环境图像中，选择除当前识别的初始环境图像外任意一初始环境图像进行该装配件的类型的识别，直至使该装配件类型的标记的匹配类型的数量不为零；
[0061] 若标记的匹配类型的数量为一，所述协作服务器判定该装配件的类型为标记的匹配类型，将根据装配说明信息中该匹配类型的颜色信息对该装配件进行颜色标记，并在初始环境信息中获取该装配件的位置信息进行位置标记；
[0062] 若标记的匹配类型的数量大于一，所述协作服务器将对标记的各匹配类型的尺寸信息进行判定，以对该装配件进行颜色标记。
[0063] 具体而言，所述协作服务器在标记的匹配类型的数量大于一时，在初始环境图像中获取该装配件的图像面积信息，并在初始环境信息中获取该装配件的位置信息并计算相对扫描距离，协作服务器根据相对扫描距离与图像面积信息计算该装配件的实际尺寸信息，并将实际尺寸信息与标记的各匹配类型的尺寸信息进行依次做差，并将标记的各匹配类型的尺寸信息与实际尺寸信息差值的绝对值从小到大排列，选取排列中尺寸信息与实际尺寸信息差值的绝对值最小的匹配类型作为该装配件的类型，根据装配说明信息中该匹配类型的颜色信息对该装配件进行颜色标记，并在初始环境信息中获取该装配件的位置信息进行位置标记。
[0064] 具体而言，所述协作服务器能够对装配说明信息进行解析，获取各装配件类型的装配类型顺序与装配类型位置，在所述现实环境信息中的任意一装配件进行装配时，所述摄像装置获取该装配件标记的颜色，根据该装配件标记的颜色确定该装配件的类型，并根据预设装配顺序对该装配件的类型进行判断，
[0065] 若该装配件的类型为装配类型顺序中当前装配类型时，所述协作服务器将在装配说明信息中获取当前装配类型对应的装配类型位置进行判定，以确定该装配件是否装配完成；
[0066] 若该装配件的类型不为装配类型顺序中当前装配类型时，所述协作服务器将在所述显示装置中进行错误提示的投射，并根据当前装配类型在现实环境信息中选取对应的装配件创建虚拟指引，并将虚拟指引融合在现实环境信息中投射至显示装置。
[0067] 具体而言，所述协作服务器内设置有标准装配偏置距离Lb，协作服务器在该装配件的类型为装配类型顺序中当前装配类型时，获取装配说明信息中当前装配类型对应的装配类型位置，并在现实环境信息中获取该装配件的实时装配位置，协作服务器根据实时装配位置与装配类型位置计算实时装配偏置距离Ls，并将实时装配偏置距离Ls与标准装配偏置距离Lb进行对比，
[0068] 当Ls≤Lb时，所述协作服务器判定实时装配偏置距离未超出标准装配偏置距离，协作服务器将在所述显示装置中进行装配完成的投射，并根据装配类型顺序中的下一装配类型在现实环境信息中选取对应的装配件创建虚拟指引，并将虚拟指引融合在现实环境信息中投射至显示装置；
[0069] 当Ls＞Lb时，所述协作服务器判定实时装配偏置距离已超出标准装配偏置距离，协作服务器将在所述显示装置中进行错误提示的投射。
[0070] 具体而言，所述AR眼镜内还设置有语音装置，用以接收语音指令，所述协作服务器内设置有快速执行指令字符数，协作服务器能够对语音指令进行识别，获取语音指令的实时指令字符数，并根据快速执行指令字符数对实时指令字符数进行判定，
[0071] 若实时指令字符数未超出快速执行指令字符数，协作服务器将对语音指令进行关键词提取，并根据提取的关键词执行动作；
[0072] 若实时指令字符数已超出快速执行指令字符数，协作服务器将对语音指令进行指令词提取并匹配，以确定语音指令的执行类型。
[0073] 具体而言，所述协作服务器内设置有第一指令词库与第二指令词库，协作服务器在实时指令字符数已超出快速执行指令字符数时，将对语音指令进行指令词提取，得到语音指令词，并将语音指令词与第一指令词库和第二指令词库进行匹配，
[0074] 若语音指令词与第一指令词库匹配时，所述协作服务器判定语音指令的执行类型为语法识别，将对语音指令进行语意理解，并控制协助机器人以语意理解结果执行动作；
[0075] 若语音指令词与第二指令词库匹配时，所述协作服务器判定语音指令的执行类型为听写识别，将对语音指令转化为文字进行输入；
[0076] 若语音指令词与第一指令词库和第二指令词库均不匹配时，所述协作服务器判定语音指令为无效指令，协作服务器将在所述显示装置中进行错误提示的投射；
[0077] 其中，第一指令词库中的各指令词与第二指令词库中的各指令词无重复。
[0078] 具体而言，在所述AR眼镜端的开发中直接接入Vufor ia SDK，在所述环境处理端的开发中将ARFoundat ion SDK套装在ARKit之上，再将Vufor ia SDK套装在ARFoundat ion之上，利用Vufor ia的AreaTarget能力将所述人机协作装配台的现实环境扫描成3D Mesh信息并保存下来，将3D Mesh导入Un ity 3D引擎，形成初始环境信息，利用ARKit和SLAM的设备底层能力再次扫描现场环境，将解算出的实时装配信息和初始环境信息进行匹配，生成现实环境信息并投射在AR眼镜的显示装置中，完成现实环境信息的投射。
[0079] 具体而言，所述协作服务器在进行任意一装配件类型形状信息的图形相似度St计算时，协作服务器在初始环境图像中获取装配件实时形状信息，并截取装配件实时图像，对装配件实时图像进行缩放，使其与装配件类型数据库中储存的装配件类型的形状信息图像的图像面积相等，并将两图像进行重合，计算图形相似度St；
[0080] 其中，St＝Mc/Md，其中，Mc为缩放后装配件实时图像与形状信息图像重合的图像面积，Md为形状信息图像的图像面积。
[0081] 至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征做出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
[0082] 以上所述仅为本发明的优选实施例，并不用于限制本发明；对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
