一种目标物体三维位姿的确定方法、装置及电子设备

摘要

本发明实施例提供了一种目标物体三维位姿的确定方法、装置及电子设备。所述方法包括：获取摄像机采集的包含视觉定位标识的图像；根据该图像，确定视觉定位标识坐标系与摄像机坐标系的转换矩阵，作为第一转换矩阵；获取目标物体在视觉定位标识坐标系中的三维位姿；根据目标物体在视觉定位标识坐标系中的三维位姿和第一转换矩阵，确定目标物体相对于摄像机坐标系的三维位姿，其中，视觉定位标识为带有特定图案的平板。由于视觉定位标识的图案是特定的，其上的坐标点可以准确确定，因此可以确定视觉定位标识坐标系与摄像机坐标系的转换矩阵，进而，可以准确地确定目标物体相对于摄像机坐标系的三维位姿。

权利要求

1.一种目标物体三维位姿的确定方法，其特征在于，所述方法包括：获取摄像机采集的包含视觉定位标识的图像，其中，所述视觉定位标识为带有特定图案的平板；

根据所述图像，确定视觉定位标识坐标系与摄像机坐标系的转换矩阵，作为第一转换矩阵；

获取目标物体在所述视觉定位标识坐标系中的三维位姿；

根据所述目标物体在所述视觉定位标识坐标系中的三维位姿和所述第一转换矩阵，确定所述目标物体相对于所述摄像机坐标系的三维位姿。

2.根据权利要求1所述的方法，其特征在于，所述根据所述图像，确定视觉定位标识坐标系与摄像机坐标系的转换矩阵的步骤，包括：根据所述图像中视觉定位标识的特征点信息，对所述摄像机进行标定，获得所述视觉定位标识坐标系与摄像机坐标系的转换矩阵。

3.根据权利要求1所述的方法，其特征在于，所述获取目标物体在所述视觉定位标识坐标系中的三维位姿的步骤，包括：获取所述目标物体与所述视觉定位标识的相对位置关系及所述目标物体的几何参数；

根据所述几何参数和所述相对位置关系，确定所述目标物体在所述视觉定位标识坐标系中的三维位姿。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：根据所述摄像机与机械臂的相对位置关系，确定所述摄像机坐标系与机械臂坐标系的转换矩阵，作为第二转换矩阵；

根据所述第二转换矩阵和所述目标物体相对于所述摄像机坐标系的三维位姿，确定所述目标物体相对于所述机械臂坐标系的三维位姿。

5.根据权利要求4所述的方法，其特征在于，所述方法还包括：确定所述目标物体的操作点信息；

根据所述机械臂的当前三维位姿和所述目标物体相对于所述机械臂坐标系的三维位姿，确定所述机械臂的移动方案；

控制所述机械臂按照所述移动方案移动；

当移动完成时，根据所述操作点信息控制机械臂对所述目标物体进行操作。

6.根据权利要求1‑5任一所述的方法，其特征在于，所述视觉定位标识坐标系和所述目标物体的坐标系重合。

7.一种目标物体三维位姿的确定装置，其特征在于，所述装置包括：图像获取模块，用于获取摄像机采集的包含视觉定位标识的图像，其中，所述视觉定位标识为带有特定图案的平板；

第一转换矩阵确定模块，用于根据所述图像，确定视觉定位标识坐标系与摄像机坐标系的转换矩阵，作为第一转换矩阵；

三维位姿获取模块，用于获取目标物体在所述视觉定位标识坐标系中的三维位姿；

三维位姿确定模块，用于根据所述目标物体在所述视觉定位标识坐标系中的三维位姿和所述第一转换矩阵，确定所述目标物体相对于所述摄像机坐标系的三维位姿。

8.根据权利要求7所述的装置，其特征在于，所述第一转换矩阵确定模块包括：转换矩阵确定单元，用于根据所述图像中视觉定位标识的特征点信息，对所述摄像机进行标定，获得所述视觉定位标识坐标系与摄像机坐标系的转换矩阵。

9.根据权利要求7所述的装置，其特征在于，所述三维位姿获取模块包括：参数获取子模块，用于获取所述目标物体与所述视觉定位标识的相对位置关系及所述目标物体的几何参数；

三维位姿获取子模块，用于根据所述几何参数和所述相对位置关系，确定所述目标物体在所述视觉定位标识坐标系中的三维位姿。

10.根据权利要求7所述的装置，其特征在于，所述装置还包括：第二转换矩阵确定模块，用于根据所述摄像机与机械臂的相对位置关系，确定所述摄像机坐标系与机械臂坐标系的转换矩阵，作为第二转换矩阵；

机械臂坐标系三维位姿确定模块，用于根据所述第二转换矩阵和所述目标物体相对于所述摄像机坐标系的三维位姿，确定所述目标物体相对于所述机械臂坐标系的三维位姿。

11.根据权利要求10所述的装置，其特征在于，所述装置还包括：操作点信息确定模块，用于确定所述目标物体的操作点信息；

移动方案确定模块，用于根据所述机械臂的当前三维位姿和所述目标物体相对于所述机械臂坐标系的三维位姿，确定所述机械臂的移动方案；

控制移动模块，用于控制所述机械臂按照所述移动方案移动；

控制操作模块，用于当移动完成时，根据所述操作点信息控制机械臂对所述目标物体进行操作。

12.根据权利要求7‑11任一所述的装置，其特征在于，所述视觉定位标识坐标系和所述目标物体的坐标系重合。

13.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现权利要求1‑6任一所述的方法步骤。

14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1‑6任一所述的方法步骤。

说明书

一种目标物体三维位姿的确定方法、装置及电子设备

技术领域

[0001] 本发明涉及人工智能技术领域，特别是涉及一种目标物体三维位姿的确定方法、装置及电子设备。

背景技术

[0002] 随着人工智能的不断发展，各种智能设备的应用越来越广泛，其中，利用机械臂对设备进行操作实现设备运行是具有重要的应用前景的技术之一，例如，在利用机械臂制作
咖啡过程中，可以利用机械臂按动咖啡机的按钮，操作咖啡机进行制作浓缩咖啡、打奶泡等
任务。

[0003] 在利用机械臂对设备进行操作时，一般设备的三维位姿是固定的，那么设备与机械臂之间的相对位置关系便可以确定，进而也就可以根据该相对位置关系确定机械臂的移
动方案，控制机械臂按照移动方案进行移动，当机械臂移动完成时，便可以控制机械臂对设
备进行操作。

[0004] 可见，在上述机械臂对设备进行操作的方式中，设备的三维位姿是固定不变的，机械臂是按照固定的移动方案进行移动并对设备进行操作的，显然，一旦设备发生移动，其三
维位姿发生变化，则无法确定设备改变之后的三维位姿，机械臂也就无法对设备进行操作。

发明内容

[0005] 本发明实施例的目的在于提供一种目标物体三维位姿的确定方法、装置及电子设备，以准确确定目标物体的三维位姿。具体技术方案如下：

[0006] 第一方面，本发明实施例提供了一种目标物体三维位姿的确定方法，所述方法包括：

[0007] 获取摄像机采集的包含视觉定位标识的图像，其中，所述视觉定位标识为带有特定图案的平板；

[0008] 根据所述图像，确定视觉定位标识坐标系与摄像机坐标系的转换矩阵，作为第一转换矩阵；

[0009] 获取目标物体在所述视觉定位标识坐标系中的三维位姿；

[0010] 根据所述目标物体在所述视觉定位标识坐标系中的三维位姿和所述第一转换矩阵，确定所述目标物体相对于所述摄像机坐标系的三维位姿。

[0011] 可选的，所述根据所述图像，确定视觉定位标识坐标系与摄像机坐标系的转换矩阵的步骤，包括：

[0012] 根据所述图像中视觉定位标识的特征点信息，对所述摄像机进行标定，获得所述视觉定位标识坐标系与摄像机坐标系的转换矩阵。

[0013] 可选的，所述获取目标物体在所述视觉定位标识坐标系中的三维位姿的步骤，包括：

[0014] 获取所述目标物体与所述视觉定位标识的相对位置关系及所述目标物体的几何参数；

[0015] 根据所述几何参数和所述相对位置关系，确定所述目标物体在所述视觉定位标识坐标系中的三维位姿。

[0016] 可选的，所述方法还包括：

[0017] 根据所述摄像机与机械臂的相对位置关系，确定所述摄像机坐标系与机械臂坐标系的转换矩阵，作为第二转换矩阵；

[0018] 根据所述第二转换矩阵和所述目标物体相对于所述摄像机坐标系的三维位姿，确定所述目标物体相对于所述机械臂坐标系的三维位姿。

[0019] 可选的，所述方法还包括：

[0020] 确定所述目标物体的操作点信息；

[0021] 根据所述机械臂的当前三维位姿和所述目标物体相对于所述机械臂坐标系的三维位姿，确定所述机械臂的移动方案；

[0022] 控制所述机械臂按照所述移动方案移动；

[0023] 当移动完成时，根据所述操作点信息控制机械臂对所述目标物体进行操作。

[0024] 可选的，所述视觉定位标识坐标系和所述目标物体的坐标系重合。

[0025] 第二方面，本发明实施例提供了一种目标物体三维位姿的确定装置，所述装置包括：

[0026] 图像获取模块，用于获取摄像机采集的包含视觉定位标识的图像，其中，所述视觉定位标识为带有特定图案的平板；

[0027] 第一转换矩阵确定模块，用于根据所述图像，确定视觉定位标识坐标系与摄像机坐标系的转换矩阵，作为第一转换矩阵；

[0028] 三维位姿获取模块，用于获取目标物体在所述视觉定位标识坐标系中的三维位姿；

[0029] 三维位姿确定模块，用于根据所述目标物体在所述视觉定位标识坐标系中的三维位姿和所述第一转换矩阵，确定所述目标物体相对于所述摄像机坐标系的三维位姿。

[0030] 可选的，所述第一转换矩阵确定模块包括：

[0031] 转换矩阵确定单元，用于根据所述图像中视觉定位标识的特征点信息，对所述摄像机进行标定，获得所述视觉定位标识坐标系与摄像机坐标系的转换矩阵。

[0032] 可选的，所述三维位姿获取模块包括：

[0033] 参数获取子模块，用于获取所述目标物体与所述视觉定位标识的相对位置关系及所述目标物体的几何参数；

[0034] 三维位姿获取子模块，用于根据所述几何参数和所述相对位置关系，确定所述目标物体在所述视觉定位标识坐标系中的三维位姿。

[0035] 可选的，所述装置还包括：

[0036] 第二转换矩阵确定模块，用于根据所述摄像机与机械臂的相对位置关系，确定所述摄像机坐标系与机械臂坐标系的转换矩阵，作为第二转换矩阵；

[0037] 机械臂坐标系三维位姿确定模块，用于根据所述第二转换矩阵和所述目标物体相对于所述摄像机坐标系的三维位姿，确定所述目标物体相对于所述机械臂坐标系的三维位
姿。

[0038] 可选的，所述装置还包括：

[0039] 操作点信息确定模块，用于确定所述目标物体的操作点信息；

[0040] 移动方案确定模块，用于根据所述机械臂的当前三维位姿和所述目标物体相对于所述机械臂坐标系的三维位姿，确定所述机械臂的移动方案；

[0041] 控制移动模块，用于控制所述机械臂按照所述移动方案移动；

[0042] 控制操作模块，用于当移动完成时，根据所述操作点信息控制机械臂对所述目标物体进行操作。

[0043] 可选的，所述视觉定位标识坐标系和所述目标物体的坐标系重合。

[0044] 第三方面，本发明实施例提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

[0045] 存储器，用于存放计算机程序；

[0046] 处理器，用于执行存储器上所存放的程序时，实现上述目标物体三维位姿的确定方法的步骤。

[0047] 第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利上述目标物体三维位
姿的确定方法的步骤。

[0048] 本发明实施例提供的方案中，电子设备可以首先获取摄像机采集的包含视觉定位标识的图像，根据该图像确定视觉定位标识坐标系与摄像机坐标系的转换矩阵；然后获取
目标物体在视觉定位标识坐标系中的三维位姿，再根据上述转换矩阵和目标物体在视觉定
位标识坐标系中的三维位姿确定目标物体相对于摄像机坐标系的三维位姿，由于视觉定位
标识的图案是特定的，其上的坐标点可以准确确定，因此可以确定视觉定位标识坐标系与
摄像机坐标系的转换矩阵，进而，可以准确地确定目标物体相对于摄像机坐标系的三维位
姿。

附图说明

[0049] 为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本
发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以
根据这些附图获得其他的附图。

[0050] 图1为本发明实施例提供的一种目标物体三维位姿的确定方法的流程示意图；

[0051] 图2(a)为一种视觉定位标识的示意图；

[0052] 图2(b)为另一种视觉定位标识的示意图；

[0053] 图3为图1所示实施例中步骤S103的具体流程示意图；

[0054] 图4为基于图1所示实施例的确定目标物体相对于机械臂坐标系的三维位姿的方式的一种流程示意图；

[0055] 图5为基于图1所示实施例的对目标物体进行操作的方式的一种流程示意图；

[0056] 图6为本发明实施例提供的一种目标物体三维位姿的确定装置的结构示意图；

[0057] 图7为基于图6所示实施例的对目标物体进行操作的装置的一种结构示意图；

[0058] 图8为本发明实施例提供的一种电子设备的结构示意图。

具体实施方式

[0059] 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于
本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他
实施例，都属于本发明保护的范围。

[0060] 为了能够准确确定目标物体的三维位姿，本发明实施例提供了一种目标物体三维位姿的确定方法、装置、电子设备及计算机可读存储介质。

[0061] 下面首先对本发明实施例所提供的一种目标物体三维位姿的确定方法进行介绍。

[0062] 本发明实施例所提供的一种目标物体三维位姿的确定方法可以应用于需要确定目标物体三维位姿的任意电子设备，例如，可以为控制器、平板电脑、电脑等，在此不做具体
限定，以下简称电子设备。

[0063] 如图1所示，一种目标物体三维位姿的确定方法，所述方法包括：

[0064] S101，获取摄像机采集的包含视觉定位标识的图像；

[0065] 其中，所述视觉定位标识为带有特定图案的平板。

[0066] S102，根据所述图像，确定视觉定位标识坐标系与摄像机坐标系的转换矩阵，作为第一转换矩阵；

[0067] S103，获取目标物体在所述视觉定位标识坐标系中的三维位姿；

[0068] S104，根据所述目标物体在所述视觉定位标识坐标系中的三维位姿和所述第一转换矩阵，确定所述目标物体相对于所述摄像机坐标系的三维位姿。

[0069] 可见，本发明实施例提供的方案中，电子设备可以首先获取摄像机采集的包含视觉定位标识的图像，根据该图像确定视觉定位标识坐标系与摄像机坐标系的转换矩阵；然
后获取目标物体在视觉定位标识坐标系中的三维位姿，再根据上述转换矩阵和目标物体在
视觉定位标识坐标系中的三维位姿确定目标物体相对于摄像机坐标系的三维位姿，由于视
觉定位标识的图案是特定的，其上的坐标点可以准确确定，因此可以确定视觉定位标识坐
标系与摄像机坐标系的转换矩阵，进而，可以准确地确定目标物体相对于摄像机坐标系的
三维位姿。

[0070] 上述步骤S101中，摄像机可以采集包含该视觉定位标识的图像，电子设备可以获取摄像机采集的图像。其中，上述目标物体所指代的是需要确定其三维位姿的物体，并不具
有任何其他限定意义。例如，目标物体可以是按钮、盒子、设备等任意需要确定其三维位姿
的物体。

[0071] 上述视觉定位标识是带有特定图案的平板，视觉定位标识具有准确的图案尺寸及边框，且其包括的图案一般是左右不对称的，且其上每个点的坐标是可以准确确定的，如图
2所示，图2(a)及图2(b)所示为两种视觉定位标识的示意图。图2(a)及图2(b)仅是本发明实
施例提供的视觉定位标识的示意图，不具有任何限定意义。可以使用图案坐标可以准确确
定的任意平板作为视觉定位标识，例如，可以根据目标物体的实际形状或公司商标图案设
计视觉定位标识，这样即可以体现目标物体的属性或标识公司身份，又可以得到更具美感
的视觉定位标识。

[0072] 获取上述包含视觉定位标识的图像后，电子设备可以执行上述步骤S102，即根据该图像，确定视觉定位标识坐标系与摄像机坐标系的转换矩阵。在一种实施方式中，视觉定
位标识坐标系可以是基于视觉定位标识中某个点建立的坐标系。例如，可以以视觉定位标
识的中心点为原点，该中心点的正右方向为X轴，将X轴逆时针转动90度的方向为Y轴，垂直
于该视觉定位标识且向上的方向为Z轴，进而建立视觉定位标识坐标系。

[0073] 由于视觉定位标识具有特定图案，其上每个点的坐标是可以准确确定的，因此，通过上述图像中的视觉定位标识及坐标转换关系，电子设备可以确定视觉定位标识坐标系与
摄像机坐标系的转换矩阵。为了方案清楚及描述清晰，后续将会对电子设备根据该图像确
定视觉定位标识坐标系与摄像机坐标系的转换矩阵的具体方式进行举例介绍。

[0074] 上述步骤S103中，电子设备可以获取目标物体在视觉定位标识坐标系中的三维位姿。在一种实施方式中，视觉定位标识可以放置或粘贴于目标物体的固定位置，视觉定位标
识坐标系确定，那么电子设备也就可以确定目标物体在该视觉定位标识坐标系中的三维位
姿。

[0075] 确定视觉定位标识坐标系与摄像机坐标系的转换矩阵及目标物体在视觉定位标识坐标系中的三维位姿后，电子设备可以执行上述步骤S104，根据视觉定位标识坐标系与
摄像机坐标系的转换矩阵及目标物体在视觉定位标识坐标系中的三维位姿，确定目标物体
相对于摄像机坐标系的三维位姿。

[0076] 从视觉定位标识坐标系到摄像机坐标系的转换，可以通过转换矩阵来表示。如果目标物体在视觉定位标识坐标系中的坐标为X，目标物体在摄像机坐标系中的坐标为X'，那
么X'＝E*X，其中，E为视觉定位标识坐标系与摄像机坐标系的转换矩阵。

[0077] 基于此，在上述步骤S104中，电子设备可以根据视觉定位标识坐标系与摄像机坐标系的转换矩阵及目标物体在视觉定位标识坐标系中的三维位姿，确定目标物体相对于摄
像机坐标系的三维位姿。

[0078] 作为本发明实施例的一种实施方式，上述根据所述图像，确定视觉定位标识坐标系与摄像机坐标系的转换矩阵的步骤，可以包括：

[0079] 根据所述图像中视觉定位标识的特征点信息，对所述摄像机进行标定，获得所述视觉定位标识坐标系与摄像机坐标系的转换矩阵。

[0080] 由于视觉定位标识是带有特定图案的平板，其上每个点的坐标是可以准确确定的，因此，电子设备可以根据视觉定位标识在上述图像中的特征点信息、摄像机的内参矩阵
以及摄像机成像原理，计算出该图像中视觉定位标识的特征点的坐标在摄像机坐标系中对
应的坐标。由于视觉定位标识坐标系是基于视觉定位标识中的某个点建立的，因此，电子设
备也可以确定该图像中视觉定位标识的特征点的坐标在视觉定位标识坐标系中对应的坐
标。

[0081] 进而，电子设备便可以根据该图像中视觉定位标识的特征点的坐标在摄像机坐标系中对应的的坐标，以及该图像中视觉定位标识的特征点的坐标在视觉定位标识坐标系中
对应的坐标，计算得到该图像中视觉定位标识的特征点坐标在摄像机坐标系与视觉定位标
识坐标系之间的转换关系，也就是视觉定位标识坐标系与摄像机坐标系的转换矩阵。

[0082] 基于此，电子设备在获取了摄像机采集的包含视觉定位标识的图像后，可以根据该图像中视觉定位标识的特征点信息，对采集该图像的摄像机进行标定，也就可以获得视
觉定位标识坐标系与摄像机坐标系的转换矩阵。

[0083] 可见，在本实施中，电子设备可以根据获取的摄像机采集的图像中视觉定位标识的特征点信息，对摄像机进行标定，进而获得视觉定位标识坐标系与摄像机坐标系的转换
矩阵，也就是第一转换矩阵，由于视觉定位标识对应的图像中的特征点的坐标是可以准确
确定的，因此采用该方式可以准确确定视觉定位标识坐标系与摄像机坐标系的转换矩阵，
可以便于后续准确确定目标物体相对于所述摄像机坐标系的三维位姿。

[0084] 作为本发明实施例的一种实施方式，如图3所示，上述获取目标物体在所述视觉定位标识坐标系中的三维位姿的步骤，可以包括：

[0085] S301，获取所述目标物体与所述视觉定位标识的相对位置关系及所述目标物体的几何参数；

[0086] 上述视觉定位标识可以放置或粘贴于目标物体的某一固定位置，那么该位置是可以通过测量等方式获得的，电子设备也就可以确定目标物体与视觉定位标识的相对位置关
系。

[0087] 例如，视觉定位标识和目标物体可以放置于一操作平台上，视觉定位标识的与目标物体的位置固定，目标物体与视觉定位标识的相对位置关系也就可以确定。又例如，目标
物体为一设备的按钮，视觉定位标识可以粘贴于该按钮旁的一个位置，那么该按钮与视觉
定位标识的相对位置关系也就可以确定。

[0088] 电子设备除获取目标物体与视觉定位标识的相对位置关系以外，还可以获取目标物体的几何参数。其中，目标物体的几何参数可以是能够表示目标物体实际大小的参数。例
如，假设目标物体为一圆柱形按钮，那么目标物体的几何参数可以为按钮顶部平面的半径
以及按钮的高度等；又例如，目标物体为一长方形的盒子，那么目标物体的几何参数可以为
盒子的长、宽和高等。

[0089] S302，根据所述几何参数和所述相对位置关系，确定所述目标物体在所述视觉定位标识坐标系中的三维位姿。

[0090] 确定了目标物体与视觉定位标识的相对位置关系及目标物体的几何参数后，电子设备可以根据目标物体的几何参数及所确定目标物体与视觉定位标识的相对位置关系，确
定目标物体在视觉定位标识坐标系中的三维位姿。

[0091] 例如，以视觉定位标识的中心点为原点，该中心点的正右方向为X轴，将X轴逆时针转动90度的方向为Y轴，垂直于该视觉定位标识且向上的方向为Z轴，进而建立视觉定位标
识坐标系。目标物体为一正方体盒子，其棱长为8厘米，其放置于视觉定位标识坐标系的原
点的正右方向，其底面中心在X轴上，距离原点5厘米的位置，那么也就可以确定该目标物体
在视觉定位标识坐标系中的三维边框的顶点坐标为(1，‑4，0)、(9，‑4，0)、(1，4，0)、(9，4，
0)、(1，‑4，8)、(9，‑4，8)、(1，4，8)及(9，4，8)。

[0092] 由于物体的三维边框可以的顶点坐标可以表征物体的三维位置和姿态，因此可以采用目标物体在视觉定位标识坐标系中的三维边框的顶点坐标来标识目标物体在视觉定
位标识坐标系中的三维位姿，那么电子设备也就可以确定目标物体在视觉定位标识坐标系
中的三维位姿为(1，‑4，0)、(9，‑4，0)、(1，4，0)、(9，4，0)、(1，‑4，8)、(9，‑4，8)、(1，4，8)及
(9，4，8)。

[0093] 当然，为了方便后续根据目标物体在视觉定位标识坐标系中的三维位姿和第一转换矩阵，确定目标物体相对于摄像机坐标系的三维位姿，也可以将目标物体在视觉定位标
识坐标系中的三维边框的顶点坐标转换为一矩阵，用该矩阵表示目标物体在视觉定位标识
坐标系中的三维位姿，这都是合理的。

[0094] 可见，在本实施中，电子设备可以获取目标物体与视觉定位标识的相对位置关系及目标物体的几何参数，进而根据几何参数和相对位置关系，确定目标物体在视觉定位标
识坐标系中的三维位姿，可以快速准确地确定目标物体在视觉定位标识坐标系中的三维位
姿，利于后续确定目标物体相对于摄像机坐标系的三维位姿步骤的进行。

[0095] 作为本发明实施例的一种实施方式，如图4所示，上述目标物体三维位姿的确定方法还可以包括：

[0096] S401，根据所述摄像机与机械臂的相对位置关系，确定所述摄像机坐标系与机械臂坐标系的转换矩阵，作为第二转换矩阵；

[0097] 由于在很多应用场景中，在确定目标物体的三维位姿后，一般会通过机械臂对目标物体进行一些操作，以完成某些任务。因此，在确定了目标物体相对于摄像机坐标系的三
维位姿后，需要确定目标物体相对于机械臂坐标系的三维位姿，以便机械臂可以对目标物
体进行操作。

[0098] 例如，在机械臂制作咖啡的应用场景下，机械臂需要对咖啡机上的按钮进行按动操作，在该场景下，咖啡机的按钮可以作为目标物体，那么在确定了咖啡机的按钮相对于摄
像机坐标系的三维位姿后，需要确定咖啡机的按钮相对于机械臂坐标系的三维位姿，机械
臂才能对咖啡机的按钮进行按动操作。

[0099] 那么，在这样的情况下，电子设备确定了目标物体相对于摄像机坐标系的三维位姿后，可以根据摄像机与机械臂的相对位置关系，确定目标物体相对于机械臂坐标系的三
维位姿。

[0100] 可以理解的是，当前时刻机械臂的位置是确定的，摄像机的位置也是确定的，那么，电子设备便可以确定摄像机与机械臂的相对位置关系。进而，电子设备便可以根据摄像
机与机械臂的相对位置关系，确定摄像机坐标系与机械臂坐标系的映射关系，也就是确定
摄像机坐标系与机械臂坐标系的转换矩阵。由于根据摄像机与机械臂的相对位置关系，确
定摄像机坐标系与机械臂坐标系的转换矩阵可以采用任意坐标系之间转换矩阵的确定方
式进行，在此不做具体限定及说明。

[0101] S402，根据所述第二转换矩阵和所述目标物体相对于所述摄像机坐标系的三维位姿，确定所述目标物体相对于所述机械臂坐标系的三维位姿。

[0102] 确定了上述摄像机坐标系与机械臂坐标系的转换矩阵后，电子设备便可以将目标物体相对于摄像机坐标系的三维位姿，通过坐标变换，得到目标物体相对于机械臂坐标系
的三维位姿。目标物体相对于机械臂坐标系的三维位姿也可以通过一个矩阵来表示。

[0103] 例如，目标物体相对于摄像机坐标系的三维位姿通过矩阵M表示，摄像机坐标系与机械臂坐标系的第二转换矩阵通过矩阵N表示，那么，目标物体相对于机械臂坐标系的三维
位姿即可以通过矩阵L＝M*N表示。

[0104] 可见，在本实施例中，电子设备可以根据摄像机与机械臂的相对位置关系，确定摄像机坐标系与机械臂坐标系的转换矩阵，进而，根据该转换矩阵及目标物体相对于摄像机
坐标系的三维位姿，通过坐标变换，确定目标物体相对于机械臂坐标系的三维位姿，可以准
确确定目标物体相对于机械臂坐标系的三维位姿，便于后续机械臂对目标物体进行操作。

[0105] 针对电子设备确定了目标物体相对于机械臂坐标系的三维位姿的情况而言，作为本发明实施例的一种实施方式，如图5所示，上述目标物体三维位姿的确定方法还可以包
括：

[0106] S501，确定所述目标物体的操作点信息；

[0107] 电子设备确定目标物体相对于机械臂坐标系的三维位姿后，可以进一步确定目标物体的操作点信息。其中，操作点信息包括机械臂需要对目标物体进行的操作的具体方式
等信息。对于不同的目标物体，其操作点信息可以不同，操作点信息所包括的具体信息可以
根据实际需要对目标物体进行的操作确定，在此不做具体限定。

[0108] 例如，目标物体为杯子，如果机械臂需要对杯子进行抓取操作，那么其对应的操作点信息便可以为抓取；如果机械臂需要对杯子进行倾倒操作，那么其对应的操作点信息便
可以为倾倒。又例如，目标物体为按钮，如果机械臂需要对按钮进行按动操作，那么其对应
的操作点信息便可以为按动。又例如，目标物体为食物，如果机械臂需要对实物进行切割操
作，那么其对应的操作点信息便可以为切割。

[0109] S502，根据所述机械臂的当前三维位姿和所述目标物体相对于所述机械臂坐标系的三维位姿，确定所述机械臂的移动方案；

[0110] 当前时刻机械臂的位置是确定的，而机械臂坐标系是基于机械臂自身建立的，因此，电子设备可以获取机械臂的当前三维位姿。进而，根据机械臂的当前三维位姿和目标物
体相对于机械臂的三维位姿，电子设备便可以确定机械臂移动方案，机械臂按照该移动方
案移动，就可以移动至目标物体处。

[0111] S503，控制所述机械臂按照所述移动方案移动；

[0112] S504，当移动完成时，根据所述操作点信息控制机械臂对所述目标物体进行操作。

[0113] 确定了机械臂的移动方案后，电子设备便可以控制机械臂按照该移动方案进行移动。当移动完成后，电子设备可以根据目标物体的操作点信息，控制机械臂对目标物体进行
操作。

[0114] 为了对目标物体进行操作，机械臂的末端可以安装末端工具，用于对物体进行操作。根据需要对物体进行的操作的不同，末端工具可以为不同的工具，例如，可以为机械爪、
刀、勺子、笔等，在此不做具体限定。

[0115] 例如，目标物体为按钮，操作点信息为按动，那么机械臂的末端工具可以为机械爪，进而，电子设备控制机械臂移动完成后，便可以通过机械爪对按钮进行按动操作。又例
如，目标物体为苹果，操作点信息为切割，那么机械臂的末端工具可以为水果刀，进而，电子
设备控制机械臂移动完成后，便可以通过水果刀对苹果进行切割操作。

[0116] 可见，在本实施例中，电子设备可以确定目标物体的操作点信息，根据机械臂的当前三维位姿和目标物体相对于机械臂坐标系的三维位姿，确定机械臂的移动方案，进而控
制机械臂按照移动方案移动，当移动完成时，根据操作点信息控制机械臂对目标物体进行
操作。可以使机械臂实现基于视觉对任意位姿的目标物体进行需要的操作，准确性及灵活
性均较高。

[0117] 作为本发明实施例的一种实施方式，上述视觉定位标识坐标系和目标物体的坐标系可以重合。

[0118] 视觉定位标识坐标系和目标物体的坐标系重合，也就是二者的坐标原点相同，坐标系也是相同的。在一种实施方式中，视觉定位标识可以粘贴于目标物体。例如，目标物体
为按钮，视觉定位标识可以粘贴于该按钮的顶部平面；如果目标物体为杯子，视觉定位标识
可以粘贴于该杯子的杯体外侧，这样，电子设备可以更方便地基于视觉定位标识确定该按
钮或杯子的三维位姿，也不会影响对按钮或杯子的操作。

[0119] 在另一种实施方式中，视觉定位标识可以放置于目标物体上。例如，目标物体为一盒子，视觉定位标识可以放置于该盒子上，这样，电子设备可以更方便地基于视觉定位标识
确定该盒子的三维位姿，也不会影响对盒子的操作。

[0120] 可见，本实施中，视觉定位标识坐标系和目标物体的坐标系可以重合，这样，电子设备可以更方便地基于视觉定位标识确定目标物体的三维位姿，也不会影响对目标物体的
操作。

[0121] 对应于上述目标物体三维位姿的确定方法，本发明实施例提供了一种目标物体三维位姿的确定装置。

[0122] 下面对本发明实施例提供的一种目标物体三维位姿的确定装置进行介绍。

[0123] 如图6所示，一种目标物体三维位姿的确定装置，该装置包括：

[0124] 图像获取模块610，用于获取摄像机采集的包含视觉定位标识的图像；

[0125] 其中，所述视觉定位标识为带有特定图案的平板。

[0126] 第一转换矩阵确定模块620，用于根据所述图像，确定视觉定位标识坐标系与摄像机坐标系的转换矩阵，作为第一转换矩阵；

[0127] 三维位姿获取模块630，用于获取目标物体在所述视觉定位标识坐标系中的三维位姿；

[0128] 三维位姿确定模块640，用于根据所述目标物体在所述视觉定位标识坐标系中的三维位姿和所述第一转换矩阵，确定所述目标物体相对于所述摄像机坐标系的三维位姿。

[0129] 可见，本发明实施例提供的方案中，电子设备可以首先获取摄像机采集的包含视觉定位标识的图像，根据该图像确定视觉定位标识坐标系与摄像机坐标系的转换矩阵；然
后获取目标物体在视觉定位标识坐标系中的三维位姿，再根据上述转换矩阵和目标物体在
视觉定位标识坐标系中的三维位姿确定目标物体相对于摄像机坐标系的三维位姿，由于视
觉定位标识的图案是特定的，其上的坐标点可以准确确定，因此可以确定视觉定位标识坐
标系与摄像机坐标系的转换矩阵，进而，可以准确地确定目标物体相对于摄像机坐标系的
三维位姿。

[0130] 作为本发明实施例的一种实施方式，上述第一转换矩阵确定模块620可以包括：

[0131] 转换矩阵确定单元(图6中未示出)，用于根据所述图像中视觉定位标识的特征点信息，对所述摄像机进行标定，获得所述视觉定位标识坐标系与摄像机坐标系的转换矩阵。

[0132] 作为本发明实施例的一种实施方式，上述三维位姿获取模块640可以包括：

[0133] 参数获取子模块(图6中未示出)，用于获取所述目标物体与所述视觉定位标识的相对位置关系及所述目标物体的几何参数；

[0134] 三维位姿获取子模块(图6中未示出)，用于根据所述几何参数和所述相对位置关系，确定所述目标物体在所述视觉定位标识坐标系中的三维位姿。

[0135] 作为本发明实施例的一种实施方式，上述目标物体三维位姿的确定装置还可以包括：

[0136] 第二转换矩阵确定模块(图6中未示出)，用于根据所述摄像机与机械臂的相对位置关系，确定所述摄像机坐标系与机械臂坐标系的转换矩阵，作为第二转换矩阵；

[0137] 机械臂坐标系三维位姿确定模块(图6中未示出)，用于根据所述第二转换矩阵和所述目标物体相对于所述摄像机坐标系的三维位姿，确定所述目标物体相对于所述机械臂
坐标系的三维位姿。

[0138] 作为本发明实施例的一种实施方式，如图7所示，上述目标物体三维位姿的确定装置还可以包括：

[0139] 操作点信息确定模块710，用于确定所述目标物体的操作点信息；

[0140] 移动方案确定模块720，用于根据所述机械臂的当前三维位姿和所述目标物体相对于所述机械臂坐标系的三维位姿，确定所述机械臂的移动方案；

[0141] 控制移动模块730，用于控制所述机械臂按照所述移动方案移动；

[0142] 控制操作模块740，用于当移动完成时，根据所述操作点信息控制机械臂对所述目标物体进行操作。

[0143] 作为本发明实施例的一种实施方式，上述视觉定位标识坐标系和目标物体的坐标系可以重合。

[0144] 本发明实施例还提供了一种电子设备，如图8所示，包括处理器801、通信接口802、存储器803和通信总线804，其中，处理器801，通信接口802，存储器803通过通信总线804完
成相互间的通信；

[0145] 存储器803，用于存放计算机程序；

[0146] 处理器801，用于执行存储器上所存放的程序时，实现如下步骤：

[0147] 获取摄像机采集的包含视觉定位标识的图像，其中，所述视觉定位标识为带有特定图案的平板；

[0148] 根据所述图像，确定视觉定位标识坐标系与摄像机坐标系的转换矩阵，作为第一转换矩阵；

[0149] 获取目标物体在所述视觉定位标识坐标系中的三维位姿；

[0150] 根据所述目标物体在所述视觉定位标识坐标系中的三维位姿和所述第一转换矩阵，确定所述目标物体相对于所述摄像机坐标系的三维位姿。

[0151] 可见，本发明实施例提供的方案中，电子设备可以首先获取摄像机采集的包含视觉定位标识的图像，根据该图像确定视觉定位标识坐标系与摄像机坐标系的转换矩阵；然
后获取目标物体在视觉定位标识坐标系中的三维位姿，再根据上述转换矩阵和目标物体在
视觉定位标识坐标系中的三维位姿确定目标物体相对于摄像机坐标系的三维位姿，由于视
觉定位标识的图案是特定的，其上的坐标点可以准确确定，因此可以确定视觉定位标识坐
标系与摄像机坐标系的转换矩阵，进而，可以准确地确定目标物体相对于摄像机坐标系的
三维位姿。

[0152] 上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral Component Interconnect，PCI)总线或扩展工业标准结构(Extended Industry  Standard 
Architecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便
于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

[0153] 通信接口用于上述电子设备与其他设备之间的通信。

[0154] 存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non‑Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可
以是至少一个位于远离前述处理器的存储装置。

[0155] 上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital Signal 
Processing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现
场可编程门阵列(Field‑Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立
门或者晶体管逻辑器件、分立硬件组件。

[0156] 其中，上述根据所述图像，确定视觉定位标识坐标系与摄像机坐标系的转换矩阵的步骤，可以包括：

[0157] 根据所述图像中视觉定位标识的特征点信息，对所述摄像机进行标定，获得所述视觉定位标识坐标系与摄像机坐标系的转换矩阵。

[0158] 其中，上述获取目标物体在所述视觉定位标识坐标系中的三维位姿的步骤，可以包括：

[0159] 获取所述目标物体与所述视觉定位标识的相对位置关系及所述目标物体的几何参数；

[0160] 根据所述几何参数和所述相对位置关系，确定所述目标物体在所述视觉定位标识坐标系中的三维位姿。

[0161] 其中，上述方法还可以包括：

[0162] 根据所述摄像机与机械臂的相对位置关系，确定所述摄像机坐标系与机械臂坐标系的转换矩阵，作为第二转换矩阵；

[0163] 根据所述第二转换矩阵和所述目标物体相对于所述摄像机坐标系的三维位姿，确定所述目标物体相对于所述机械臂坐标系的三维位姿。

[0164] 其中，上述方法还可以包括：

[0165] 确定所述目标物体的操作点信息；

[0166] 根据所述机械臂的当前三维位姿和所述目标物体相对于所述机械臂坐标系的三维位姿，确定所述机械臂的移动方案；

[0167] 控制所述机械臂按照所述移动方案移动；

[0168] 当移动完成时，根据所述操作点信息控制机械臂对所述目标物体进行操作。

[0169] 其中，上述视觉定位标识坐标系和所述目标物体的坐标系可以重合。

[0170] 本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现如下步骤：

[0171] 获取摄像机采集的包含视觉定位标识的图像，其中，所述视觉定位标识为带有特定图案的平板；

[0172] 根据所述图像，确定视觉定位标识坐标系与摄像机坐标系的转换矩阵，作为第一转换矩阵；

[0173] 获取目标物体在所述视觉定位标识坐标系中的三维位姿；

[0174] 根据所述目标物体在所述视觉定位标识坐标系中的三维位姿和所述第一转换矩阵，确定所述目标物体相对于所述摄像机坐标系的三维位姿。

[0175] 可见，本发明实施例提供的方案中，计算机程序被执行时，可以首先获取摄像机采集的包含视觉定位标识的图像，根据该图像确定视觉定位标识坐标系与摄像机坐标系的转
换矩阵；然后获取目标物体在视觉定位标识坐标系中的三维位姿，再根据上述转换矩阵和
目标物体在视觉定位标识坐标系中的三维位姿确定目标物体相对于摄像机坐标系的三维
位姿，由于视觉定位标识的图案是特定的，其上的坐标点可以准确确定，因此可以确定视觉
定位标识坐标系与摄像机坐标系的转换矩阵，进而，可以准确地确定目标物体相对于摄像
机坐标系的三维位姿。

[0176] 其中，上述根据所述图像，确定视觉定位标识坐标系与摄像机坐标系的转换矩阵的步骤，可以包括：

[0177] 根据所述图像中视觉定位标识的特征点信息，对所述摄像机进行标定，获得所述视觉定位标识坐标系与摄像机坐标系的转换矩阵。

[0178] 其中，上述获取目标物体在所述视觉定位标识坐标系中的三维位姿的步骤，包括：

[0179] 获取所述目标物体与所述视觉定位标识的相对位置关系及所述目标物体的几何参数；

[0180] 根据所述几何参数和所述相对位置关系，确定所述目标物体在所述视觉定位标识坐标系中的三维位姿。

[0181] 其中，上述方法还可以包括：

[0182] 根据所述摄像机与机械臂的相对位置关系，确定所述摄像机坐标系与机械臂坐标系的转换矩阵，作为第二转换矩阵；

[0183] 根据所述第二转换矩阵和所述目标物体相对于所述摄像机坐标系的三维位姿，确定所述目标物体相对于所述机械臂坐标系的三维位姿。

[0184] 其中，上述方法还可以包括：

[0185] 确定所述目标物体的操作点信息；

[0186] 根据所述机械臂的当前三维位姿和所述目标物体相对于所述机械臂坐标系的三维位姿，确定所述机械臂的移动方案；

[0187] 控制所述机械臂按照所述移动方案移动；

[0188] 当移动完成时，根据所述操作点信息控制机械臂对所述目标物体进行操作。

[0189] 其中，上述视觉定位标识坐标系和所述目标物体的坐标系可以重合。

[0190] 需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存
在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖
非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要
素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备
所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在
包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

[0191] 本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实
施例、电子设备实施例、计算机可读存储介质而言，由于其基本相似于方法实施例，所以描
述的比较简单，相关之处参见方法实施例的部分说明即可。

[0192] 以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围
内。