一种机器人手眼标定方法及装置

摘要

本申请提供了一种机器人手眼标定方法及装置，应用于机器人手眼标定系统，机器人手眼标定系统中的机器人包含机械前臂，机械前臂上设置有第一旋转轴，且机械前臂上安装有第一相机，第一旋转轴上安装有第二相机，第二相机下放置有定位圆；其中，所述手眼标定方法通过第二相机采集定位圆图像拟合圆心，控制第一旋转轴的轴心对准拟合圆心，获取第一旋转轴的机械坐标，并控制第一旋转轴在预设空间范围内多次平移，获取第一相机在每一次平移后采集的定位圆图像，进而确定预设运动模型中模型参数的值，完成机器人的手眼标定，本申请提供的方法适用但不限定于对贴补强机等机器人的手眼标定。

权利要求

1.一种机器人手眼标定方法，其特征在于，应用于机器人手眼标定系统，所述机器人手眼标定系统中的机器人包含机械前臂，所述机械前臂上设置有第一旋转轴，可用于旋转末端执行器，且所述机械前臂上安装有第一相机，所述第一旋转轴上安装有第二相机，所述第二相机下放置有定位圆；该方法包括：控制所述第一旋转轴多次旋转，并获取所述第二相机在每一次旋转后采集的定位圆图像；

对所述第二相机采集的各个定位圆图像进行拟合，获取拟合圆心；

控制所述第一旋转轴的轴心图像坐标与所述拟合圆心的图像坐标重合；

获取平移后的第一旋转轴的机械坐标；所述机械坐标是在机械手坐标系下的坐标；

控制所述第一旋转轴在预设空间范围内多次平移，并获取所述第一相机在每一次平移后采集的定位圆图像；

依据所述第一旋转轴的机械坐标、所述第一旋转轴每一次平移的位移量，以及所述第一相机在每一次平移后采集的定位圆图像的图像坐标，确定预设运动模型中模型参数的值；其中，所述预设运动模型表征机器人第一相机坐标系与所述机械手坐标系的转换关系。

2.根据权利要求1所述的机器人手眼标定方法，其特征在于，所述控制所述第一旋转轴的轴心图像坐标与所述拟合圆心的图像坐标重合，包括：控制所述第一旋转轴的轴心沿着所述机械手坐标系的X轴平移第一空间位移，同时获取所述第二相机采集的定位圆的第一图像位移；

控制所述第一旋转轴的轴心沿着所述机械手坐标系的Y轴平移第二空间位移，同时获取所述第二相机采集的定位圆的第二图像位移；

依据所述第一空间位移及所述第一图像位移，计算单位第一空间位移对应的第一图像位移，并依据所述第二空间位移及所述第二图像位移，计算单位第二空间位移对应的第二图像位移；

将所述定位圆的初始图像坐标与所述拟合圆心的图像坐标之差确定为第三图像位移；

其中，所述定位圆的初始图像坐标为，未控制所述第一旋转轴旋转前，所述定位圆的图像坐标；

依据所述单位第一空间位移对应的第一图像位移、所述单位第二空间位移对应的第二图像位移，以及所述第三图像位移，确定空间位移量；

控制所述第一旋转轴平移所述空间位移量，以使所述第一旋转轴的轴心图像坐标与所述拟合圆心的图像坐标重合。

3.根据权利要求1所述的机器人手眼标定方法，其特征在于，所述依据所述第一旋转轴的机械坐标、所述第一旋转轴每一次平移的位移量，以及所述第一相机在每一次平移后采集的定位圆图像的图像坐标，确定预设运动模型中模型参数的值，包括：依据所述第一旋转轴的机械坐标，以及所述第一旋转轴每一次平移的位移量，确定所述第一旋转轴每一次平移后的第一机械坐标；

获取所述第一相机在每一次平移后采集的定位圆图像的第一图像坐标；

依据各个所述第一机械坐标以及各个所述第一图像坐标，确定预设运动模型中模型参数的第一值。

4.根据权利要求3所述的机器人手眼标定方法，其特征在于，在所述依据所述第一旋转轴每一次平移后的机械坐标，以及所述第一相机在每一次平移后采集的定位圆圆心图像的图像坐标，确定预设运动模型中模型参数的第一值之后，还包括：依据所述模型参数的第一值对应的运动模型，确定多个预设定位圆图像坐标各自对应的第一旋转轴的第二机械坐标；其中，所述多个预设定位圆图像坐标是第一相机成像图像中的图像坐标；

控制所述第一旋转轴依次平移至各个所述第二机械坐标，并获取所述第一相机在每一次平移后采集的定位圆图像的第二图像坐标；

依据各个所述第二机械坐标以及各个所述第二图像坐标，确定所述预设运动模型中模型参数的第二值。

5.根据权利要求1所述的机器人手眼标定方法，其特征在于，所述预设运动模型中的模型参数包括：机械前臂中第一运动臂的长度、机械前臂中第二运动臂的长度、第一相机与第一旋转轴的距离、第一相机成像中心与第一旋转轴的轴心之间的连线与第二运动臂之间的夹角、第一相机坐标系的X轴与第二运动臂之间的夹角、机械坐标系Y轴与第二运动臂之间的夹角、第一运动臂与第二运动臂的第二旋转轴的轴心机械坐标、第一旋转轴的机械坐标、及第一相机采集的定位圆的图像坐标。

6.一种机器人手眼标定装置，其特征在于，应用于机器人手眼标定系统，所述机器人手眼标定系统中的机器人包含机械前臂，所述机械前臂上设置有第一旋转轴，可用于旋转末端执行器，且所述机械前臂上安装有第一相机，所述第一旋转轴上安装有第二相机，所述第二相机下放置有定位圆；该装置包括：第一旋转轴旋转单元，用于控制所述第一旋转轴多次旋转，并获取所述第二相机在每一次旋转后采集的定位圆图像；

拟合圆心坐标确定单元，用于对所述第二相机采集的各个定位圆图像进行拟合，获取拟合圆心；

第一旋转轴对准单元，用于控制所述第一旋转轴的轴心图像坐标与所述拟合圆心的图像坐标重合；

机械坐标获取单元，用于获取平移后的第一旋转轴的机械坐标；所述机械坐标是在机械手坐标系下的坐标；

定位圆图像采集单元，用于控制所述第一旋转轴在预设空间范围内多次平移，并获取所述第一相机在每一次平移后采集的定位圆图像；

运动模型参数确定单元，用于依据所述第一旋转轴的机械坐标、所述第一旋转轴每一次平移的位移量，以及所述第一相机在每一次平移后采集的定位圆图像的图像坐标，确定预设运动模型中模型参数的值；其中，所述预设运动模型表征机器人第一相机坐标系与所述机械手坐标系的转换关系。

7.根据权利要求6所述的机器人手眼标定装置，其特征在于，所述第一旋转轴对准单元包括：X轴平移控制子单元，用于控制所述第一旋转轴的轴心沿着所述机械手坐标系的X轴平移第一空间位移，同时获取所述第二相机采集的定位圆的第一图像位移；

Y轴平移控制子单元，用于控制所述第一旋转轴的轴心沿着所述机械手坐标系的Y轴平移第二空间位移，同时获取所述第二相机采集的定位圆的第二图像位移；

单位位移确定子单元，用于依据所述第一空间位移及所述第一图像位移，计算单位第一空间位移对应的第一图像位移，并依据所述第二空间位移及所述第二图像位移，计算单位第二空间位移对应的第二图像位移；

图像位移确定子单元，用于将所述定位圆的初始图像坐标与所述拟合圆心的图像坐标之差确定为第三图像位移；其中，所述定位圆的初始图像坐标为，未控制所述第一旋转轴旋转前，所述定位圆的图像坐标；

空间位移确定子单元，用于依据所述单位第一空间位移对应的第一图像位移、所述单位第二空间位移对应的第二图像位移，以及所述第三图像位移，确定空间位移量；

执行器平移子单元，用于控制所述第一旋转轴平移所述空间位移量，以使所述第一旋转轴的轴心图像坐标与所述拟合圆心的图像坐标重合。

8.根据权利要求6所述的机器人手眼标定装置，其特征在于，所述运动模型参数确定单元包括：第一机械坐标确定子单元，用于依据所述第一旋转轴的机械坐标，以及所述第一旋转轴每一次平移的位移量，确定所述第一旋转轴每一次平移后的第一机械坐标；

第一图像坐标获取子单元，用于获取所述第一相机在每一次平移后采集的定位圆图像的第一图像坐标；

第一模型参数确定子单元，用于依据各个所述第一机械坐标以及各个所述第一图像坐标，确定预设运动模型中模型参数的第一值。

9.根据权利要求8所述的机器人手眼标定装置，其特征在于，还包括：

第二机械坐标确定子单元，用于依据所述模型参数的第一值对应的运动模型，确定多个预设定位圆图像坐标各自对应的第一旋转轴的第二机械坐标；其中，所述多个预设定位圆图像坐标是第一相机成像图像中的图像坐标；

第二图像坐标确定子单元，用于控制所述第一旋转轴依次平移至各个所述第二机械坐标，并获取所述第一相机在每一次平移后采集的定位圆图像的第二图像坐标；

第二模型参数确定子单元，用于依据各个所述第二机械坐标以及各个所述第二图像坐标，确定所述预设运动模型中模型参数的第二值。

10.根据权利要求6所述的机器人手眼标定装置，其特征在于，所述运动模型参数确定单元确定的预设运动模型中的模型参数包括：机械前臂中第一运动臂的长度、机械前臂中第二运动臂的长度、第一相机与第一旋转轴的距离、第一相机成像中心与第一旋转轴的轴心之间的连线与第二运动臂之间的夹角、第一相机坐标系的X轴与第二运动臂之间的夹角、机械坐标系Y轴与第二运动臂之间的夹角、第一运动臂与第二运动臂的第二旋转轴的轴心机械坐标、第一旋转轴的机械坐标、及第一相机采集的定位圆的图像坐标。

说明书

一种机器人手眼标定方法及装置

技术领域

[0001] 本发明涉及机器人标定技术领域，尤其是一种机器人手眼标定方法及装置，适用但不限定于对贴补强机等机器人的手眼标定。

背景技术

[0002] 随着人工智能技术的发展，机器人已经在多个行业中得到了广泛应用。其中，在工业应用领域中，机器人具有视觉系统，利用视觉系统获取到的图像，机器人可以控制末端执行器执行机械加工及安装等动作。简单来讲，视觉系统相当于人的眼睛，末端执行器相当于人的手，通过手眼之间的配合完成预先设置的动作任务。

[0003] 具体地，机器人利用手-眼系统执行任务时，视觉系统采集环境空间物体的位置坐标，但该位置坐标是以视觉系统坐标系为基准的，需要将其向控制末端执行器移动的机械手坐标系进行转换，同时，末端执行器的运动参数也需转换为视觉系统坐标系内的位置坐标。

[0004] 因此，为了保证机器人将空间物体准确移动到目标位置，需要确定出视觉系统坐标系与机械手坐标系之间的转换关系，也即，需要对机器人的手眼进行标定。

发明内容

[0005] 有鉴于此，本申请提供了一种机器人手眼标定方法及装置，用以确定机器人视觉系统坐标系与机械手坐标系之间的转换关系，进而保证机器人依据该空间转换关系将物体移动至目标位置。

[0006] 为实现上述发明目的，本发明提供的技术方案如下：

[0007] 一种机器人手眼标定方法，应用于机器人手眼标定系统，所述机器人手眼标定系统中的机器人包含机械前臂，所述机械前臂上设置有第一旋转轴，可用于旋转末端执行器，且所述机械前臂上安装有第一相机，所述第一旋转轴上安装有第二相机，所述第二相机下放置有定位圆；该方法包括：

[0008] 控制所述第一旋转轴多次旋转，并获取所述第二相机在每一次旋转后采集的定位圆图像；

[0009] 对所述第二相机采集的各个定位圆图像进行拟合，获取拟合圆心；

[0010] 控制所述第一旋转轴的轴心图像坐标与所述拟合圆心的图像坐标重合；

[0011] 获取平移后的第一旋转轴的机械坐标；所述机械坐标是在机械手坐标系下的坐标；

[0012] 控制所述第一旋转轴在预设空间范围内多次平移，并获取所述第一相机在每一次平移后采集的定位圆图像；

[0013] 依据所述第一旋转轴的机械坐标、所述第一旋转轴每一次平移的位移量，以及所述第一相机在每一次平移后采集的定位圆图像的图像坐标，确定预设运动模型中模型参数的值；其中，所述预设运动模型表征机器人第一相机坐标系与所述机械手坐标系的转换关系。

[0014] 上述机器人手眼标定方法，优选地，所述控制所述第一旋转轴的轴心图像坐标与所述拟合圆心的图像坐标重合，包括：

[0015] 控制所述第一旋转轴的轴心沿着所述机械手坐标系的X轴平移第一空间位移，同时获取所述第二相机采集的定位圆的第一图像位移；

[0016] 控制所述第一旋转轴的轴心沿着所述机械手坐标系的Y轴平移第二空间位移，同时获取所述第二相机采集的定位圆的第二图像位移；

[0017] 依据所述第一空间位移及所述第一图像位移，计算单位第一空间位移对应的第一图像位移，并依据所述第二空间位移及所述第二图像位移，计算单位第二空间位移对应的第二图像位移；

[0018] 将所述定位圆的初始图像坐标与所述拟合圆心的图像坐标之差确定为第三图像位移；其中，所述定位圆的初始图像坐标为，未控制所述第一旋转轴旋转前，所述定位圆的图像坐标；

[0019] 依据所述单位第一空间位移对应的第一图像位移、所述单位第二空间位移对应的第二图像位移，以及所述第三图像位移，确定空间位移量；

[0020] 控制所述第一旋转轴平移所述空间位移量，以使所述第一旋转轴的轴心图像坐标与所述拟合圆心的图像坐标重合。

[0021] 上述机器人手眼标定方法，优选地，所述依据所述第一旋转轴的机械坐标、所述第一旋转轴每一次平移的位移量，以及所述第一相机在每一次平移后采集的定位圆图像的图像坐标，确定预设运动模型中模型参数的值，包括：

[0022] 依据所述第一旋转轴的机械坐标，以及所述第一旋转轴每一次平移的位移量，确定所述第一旋转轴每一次平移后的第一机械坐标；

[0023] 获取所述第一相机在每一次平移后采集的定位圆图像的第一图像坐标；

[0024] 依据各个所述第一机械坐标以及各个所述第一图像坐标，确定预设运动模型中模型参数的第一值。

[0025] 上述机器人手眼标定方法，优选地，在所述依据所述第一旋转轴每一次平移后的机械坐标，以及所述第一相机在每一次平移后采集的定位圆圆心图像的图像坐标，确定预设运动模型中模型参数的第一值之后，还包括：

[0026] 依据所述模型参数的第一值对应的运动模型，确定多个预设定位圆图像坐标各自对应的第一旋转轴的第二机械坐标；其中，所述多个预设定位圆图像坐标是第一相机成像图像中的图像坐标；

[0027] 控制所述第一旋转轴依次平移至各个所述第二机械坐标，并获取所述第一相机在每一次平移后采集的定位圆图像的第二图像坐标；

[0028] 依据各个所述第二机械坐标以及各个所述第二图像坐标，确定所述预设运动模型中模型参数的第二值。

[0029] 上述机器人手眼标定方法，优选地，所述预设运动模型中的模型参数包括：

[0030] 机械前臂中第一运动臂的长度、机械前臂中第二运动臂的长度、第一相机与第一旋转轴的距离、第一相机成像中心与第一旋转轴的轴心之间的连线与第二运动臂之间的夹角、第一相机坐标系的X轴与第二运动臂之间的夹角、机械坐标系Y轴与第二运动臂之间的夹角、第一运动臂与第二运动臂的第二旋转轴的轴心机械坐标、第一旋转轴的机械坐标、及第一相机采集的定位圆的图像坐标。

[0031] 本申请还提供了一种机器人手眼标定装置，应用于机器人手眼标定系统，所述机器人手眼标定系统中的机器人包含机械前臂，所述机械前臂上设置有第一旋转轴，可用于旋转末端执行器，且所述机械前臂上安装有第一相机，所述第一旋转轴上安装有第二相机，所述第二相机下放置有定位圆；该装置包括：

[0032] 第一旋转轴旋转单元，用于控制所述第一旋转轴多次旋转，并获取所述第二相机在每一次旋转后采集的定位圆图像；

[0033] 拟合圆心坐标确定单元，用于对所述第二相机采集的各个定位圆图像进行拟合，获取拟合圆心；

[0034] 第一旋转轴对准单元，用于控制所述第一旋转轴的轴心图像坐标与所述拟合圆心的图像坐标重合；

[0035] 机械坐标获取单元，用于获取平移后的第一旋转轴的机械坐标；所述机械坐标是在机械手坐标系下的坐标；

[0036] 定位圆图像采集单元，用于控制所述第一旋转轴在预设空间范围内多次平移，并获取所述第一相机在每一次平移后采集的定位圆图像；

[0037] 运动模型参数确定单元，用于依据所述第一旋转轴的机械坐标、所述第一旋转轴每一次平移的位移量，以及所述第一相机在每一次平移后采集的定位圆图像的图像坐标，确定预设运动模型中模型参数的值；其中，所述预设运动模型表征机器人第一相机坐标系与所述机械手坐标系的转换关系。

[0038] 上述机器人手眼标定装置，优选地，所述第一旋转轴对准单元包括：

[0039] X轴平移控制子单元，用于控制所述第一旋转轴的轴心沿着所述机械手坐标系的X轴平移第一空间位移，同时获取所述第二相机采集的定位圆的第一图像位移；

[0040] Y轴平移控制子单元，用于控制所述第一旋转轴的轴心沿着所述机械手坐标系的Y轴平移第二空间位移，同时获取所述第二相机采集的定位圆的第二图像位移；

[0041] 单位位移确定子单元，用于依据所述第一空间位移及所述第一图像位移，计算单位第一空间位移对应的第一图像位移，并依据所述第二空间位移及所述第二图像位移，计算单位第二空间位移对应的第二图像位移；

[0042] 图像位移确定子单元，用于将所述定位圆的初始图像坐标与所述拟合圆心的图像坐标之差确定为第三图像位移；其中，所述定位圆的初始图像坐标为，未控制所述第一旋转轴旋转前，所述定位圆的图像坐标；

[0043] 空间位移确定子单元，用于依据所述单位第一空间位移对应的第一图像位移、所述单位第二空间位移对应的第二图像位移，以及所述第三图像位移，确定空间位移量；

[0044] 执行器平移子单元，用于控制所述第一旋转轴平移所述空间位移量，以使所述第一旋转轴的轴心图像坐标与所述拟合圆心的图像坐标重合。

[0045] 上述机器人手眼标定装置，优选地，所述运动模型参数确定单元包括：

[0046] 第一机械坐标确定子单元，用于依据所述第一旋转轴的机械坐标，以及所述第一旋转轴每一次平移的位移量，确定所述第一旋转轴每一次平移后的第一机械坐标；

[0047] 第一图像坐标获取子单元，用于获取所述第一相机在每一次平移后采集的定位圆图像的第一图像坐标；

[0048] 第一模型参数确定子单元，用于依据各个所述第一机械坐标以及各个所述第一图像坐标，确定预设运动模型中模型参数的第一值。

[0049] 上述机器人手眼标定装置，优选地，还包括：

[0050] 第二机械坐标确定子单元，用于依据所述模型参数的第一值对应的运动模型，确定多个预设定位圆图像坐标各自对应的第一旋转轴的第二机械坐标；其中，所述多个预设定位圆图像坐标是第一相机成像图像中的图像坐标；

[0051] 第二图像坐标确定子单元，用于控制所述第一旋转轴依次平移至各个所述第二机械坐标，并获取所述第一相机在每一次平移后采集的定位圆图像的第二图像坐标；

[0052] 第二模型参数确定子单元，用于依据各个所述第二机械坐标以及各个所述第二图像坐标，确定所述预设运动模型中模型参数的第二值。

[0053] 上述机器人手眼标定装置，优选地，所述运动模型参数确定单元确定的预设运动模型中的模型参数包括：

[0054] 机械前臂中第一运动臂的长度、机械前臂中第二运动臂的长度、第一相机与第一旋转轴的距离、第一相机成像中心与第一旋转轴的轴心之间的连线与第二运动臂之间的夹角、第一相机坐标系的X轴与第二运动臂之间的夹角、机械坐标系Y轴与第二运动臂之间的夹角、第一运动臂与第二运动臂的第二旋转轴的轴心机械坐标、第一旋转轴的机械坐标、及第一相机采集的定位圆的图像坐标。

[0055] 由以上技术方案可知，本申请提供的一种机器人手眼标定方法及装置，控制所述第一旋转轴多次旋转，并获取所述第二相机在每一次旋转后采集的定位圆图像，并对所述第二相机采集的各个定位圆图像进行拟合，获取拟合圆心，控制所述第一旋转轴的轴心图像坐标与所述拟合圆心的图像坐标重合，进而获取平移后的第一旋转轴的机械坐标，控制所述第一旋转轴在预设空间范围内多次平移，并获取所述第一相机在每一次平移后采集的定位圆图像，进而依据所述第一旋转轴的机械坐标、所述第一旋转轴每一次平移的位移量，以及所述第一相机在每一次平移后采集的定位圆图像的图像坐标，确定预设运动模型中模型参数的值。由于，预设运动模型表征机器人第一相机坐标系与机械手坐标系的转换关系，因此确定出预设运动模型中的模型参数值后，即完成了机器人的手眼标定。

附图说明

[0056] 为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

[0057] 图1为本发明实施例提供的机器人手眼标定系统的结构图；

[0058] 图2为本发明实施例提供的机器人手眼标定方法的流程图；

[0059] 图3为本发明实施例提供的对采集的多个定位圆圆心拟合获取拟合圆心图像坐标的示意图；

[0060] 图4为本发明实施例提供的机器人手眼标定系统中各个坐标系的示意图；

[0061] 图5为本发明实施例提供的机器人手眼标定方法对准第一旋转轴的流程图；

[0062] 图6为本发明实施例提供的运动模型对应的几何关系图；

[0063] 图7为本发明实施例提供的机器人手眼标定方法求解运动模型的流程图；

[0064] 图8为本发明实施例提供的机器人手眼标定方法求解运动模型时第一相机采集到的定位圆的第一图像示意图；

[0065] 图9为本发明实施例提供的机器人手眼标定方法求解运动模型时第一相机采集到的定位圆的第二图像示意图；

[0066] 图10为本发明实施例提供的机器人手眼标定装置的结构框图；

[0067] 图11为本发明实施例提供的机器人手眼标定装置中运动模型参数确定单元的结构框图。

具体实施方式

[0068] 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

[0069] 参见图1，其示出了本申请提供的一种机器人的手眼标定系统，该系统中的机器人为多关节机器人，包括机械前臂11，所述机械前臂上设置有第一旋转轴12，且所述机械前臂上安装有第一相机13，所述第一旋转轴上安装有第二相机14。其中，第一旋转轴进行旋转时，安装在该轴上的第二相机随之进行旋转；机械前臂包括两个相连的运动臂(运动臂111及运动臂112)，两个运动臂相连处设置有第二旋转轴15，第二旋转轴也可称为关节旋转轴。机器人下放置有标定平台16，标定平台上放置有定位圆(图示中未标出)，该定位圆位于第二相机的视野范围内，优选地，该定位圆位于第二相机视野的正下方。需要说明的是，第一相机的光轴与第二相机的光轴均与标定平台垂直。

[0070] 需要说明的是，第二相机只是用于对机器人的手眼标定过程，在机器人在实际执行定位任务时，安装第二相机的位置用来安装末端执行器，进而第一旋转轴也可称为末端执行器旋转轴。根据机器人执行任务的不同，末端执行器的具体形式不同，如末端执行器可以是吸嘴，用于吸附物体对象。假设机器人执行的任务是吸附某目标物体，则需要第一相机采集目标物体的图像坐标(相当于人的眼睛看到物体)，并利用本申请标定的运动模型计算出末端执行器拿到该目标物体需要移动到的机械坐标(相当于人的大脑计算出拿到该物体需要将手移动至何位置点)，进而控制末端执行器移动至该机械坐标(相当于控制手到达该位置点)，从而完成指定任务。需要说明的是，本申请提供的手眼标定方法，可以适用但不限定仅适用于对贴补强机的手眼标定。

[0071] 上述机器人标定系统中标定的机器人在实际执行任务时，第一相机安装在机械前臂上，而非安装在末端执行器上，从而可以给末端执行器更多的动作空间执行搬运、抓取及安放等动作，增大了末端执行器的活动空间，具有更好的实用性。

[0072] 基于图1示出的所述机器人手眼标定系统，本发明实施例提供了一种机器人手眼标定方法，如图2所示，具体包括以下步骤：

[0073] 步骤S101：控制所述第一旋转轴多次旋转，并获取所述第二相机在每一次旋转后采集的定位圆图像。

[0074] 其中，旋转机器人的第一旋转轴，带动设置在第一旋转轴上的第二相机进行旋转。具体地，预先设置第一旋转轴每次旋转的旋转角度步长及旋转次数，控制所述第一旋转轴以预设角度进行预设次数的旋转。优选地，旋转次数大于5次，且多次旋转以完成一整周转动。控制第二相机在每一次旋转后均对下方的定位圆的图像进行采集，优选地，定位圆图像用圆心表示，从而第二相机采集到的是一组圆心图像，当然，第二相机还需要采集第一旋转轴未进行旋转前定位圆初始位置的圆心图像。

[0075] 步骤S102：对所述第二相机采集的各个定位圆图像进行拟合，获取拟合圆心。

[0076] 其中，对各个定位圆的圆心图像坐标点进行拟合，获得拟合后的圆心图像坐标，见图3，该图示出了对第一旋转轴进行五次旋转后采集到的一组圆心图像，图中的箭头表示第二相机的旋转方向，黑点31代表定位圆圆心的原始位置点，黑点32至黑点36表示各次旋转后采集到的定位圆圆心位置点，图中的十字交叉点为拟合后的圆心位置点。其中，具体的拟合过程参见下文描述。

[0077] 步骤S103：控制所述第一旋转轴的轴心图像坐标与所述拟合圆心的图像坐标重合。

[0078] 其中，控制所述第一旋转轴在机械坐标系中进行平移，以使所述第一旋转轴的轴心图像坐标与拟合圆心的图像坐标重合。具体地，控制第一旋转轴平移的过程可以是，确定第一旋转轴轴心与定位圆圆心的空间位移量，依据该空间位移量移动第一旋转轴，使其轴心图像坐标对准该拟合圆心图像坐标。其中，具体确定第一旋转轴与定位圆圆心的空间位移量的过程参见下文描述。

[0079] 步骤S104：获取平移后的第一旋转轴的机械坐标；所述机械坐标是在机械手坐标系下的坐标。

[0080] 其中，当第一旋转轴的轴心对准拟合圆的圆心图像坐标后，直接获取到此时第一旋转轴在机械手坐标系中的机械坐标。需要说明的是，所述机械手坐标系即控制第一旋转轴进行平移运动的坐标系，即以该坐标系的位移量对第一旋转轴执行平移动作。其中，有关该机械手坐标系的说明参见下文描述。

[0081] 步骤S105：控制所述第一旋转轴在预设空间范围内多次平移，并获取所述第一相机在每一次平移后采集的定位圆图像。

[0082] 其中，通过控制机器人的机械前臂平移，带动安装在机械前臂上的第一相机平移，以使定位圆出现在第一相机的视野范围内。然后，再次多次平移第一旋转轴，并且控制第一相机对每一次平移后的定位圆进行拍照，以获取每一次平移后的定位圆图像坐标，具体为定位圆的圆心图像坐标。

[0083] 步骤S106：依据所述第一旋转轴的机械坐标、所述第一旋转轴每一次平移的位移量，以及所述第一相机在每一次平移后采集的定位圆图像的图像坐标，确定预设运动模型中模型参数的值；其中，所述预设运动模型表征机器人第一相机坐标系与所述机械手坐标系的转换关系。

[0084] 其中，预设运动模型中包括多个模型参数，其表示了机器人第一相机坐标系与机械手坐标系之间的空间坐标转换关系。当然，该预设运动模型只是对所述转换系进行定性描述，利用步骤S104获取到的第一旋转轴的机械坐标，及步骤S105中对第一旋转轴多次平移的各个位移量，以及步骤S105中第一相机采集到的多个定位圆图像坐标，求解出预设运动模型中各个模型参数的参数值，将求解出的参数值代入该预设运动模型后，该运动模型可以定量地描述上述空间坐标转换关系，也即实现了机器人的手眼标定。

[0085] 由以上的技术方案可知，本发明实施例通过旋转第一旋转轴时，第二相机采集的各个定位圆图像坐标，引导第一旋转轴的轴心指向定位圆圆心图像坐标拟合后的圆心，进而获得第一旋转轴在机械坐标系下的坐标，然后，控制所述第一旋转轴，以使所述定位圆出现在所述第一相机的视野范围内，并多次平移第一旋转轴，以使第一相机采集到多个定位圆图像坐标，进而利用第一旋转轴的机械坐标，第一旋转轴的平移量及第一相机采集的图像坐标，求解预设运动模型中模型参数的值，由于运动模型可以定性并定量地描述机器人第一相机坐标系与机械手坐标系之间的空间坐标转换关系，从而实现了机器人的手眼标定。

[0086] 首先，对机器人手眼标定系统利用的各个空间坐标系进行说明。其中，该系统中涉及三个空间坐标系，即机械手坐标系、第一旋转轴坐标系及第一相机坐标系。如图4所示，具体地：

[0087] 机械手坐标系为O-XYZ坐标系，坐标原点O为机械前臂的旋转轴21的轴心，X轴及Y轴分别与标定平台的宽边及长边平行，Z轴与标定平台相垂直；

[0088] 第一旋转轴坐标系为Oc-XcYcZc坐标系，坐标原点Oc为第一旋转轴12的轴心，Xc轴、Yc轴及Zc轴分别与机械手坐标系的X轴、Y轴及Z轴平行；

[0089] 第一相机坐标系为Oe-XeYeZe坐标系，坐标原点Oe为第一相机13光轴轴心与相机成像平面的交点，Xe轴及Ye轴分别与相机成像平面的X轴及Y轴平行，且Ze轴与标定平台相垂直。

[0090] 当然，各个空间坐标系可以根据实际应用中进行相应设定，并不限定于上述一种形式。

[0091] 需要说明的是，上述方法实施例中，步骤S102对所述第二相机采集的各个定位圆图像进行拟合，获取拟合圆心的过程如下：

[0092] 优选地，各个所述定位圆图像用图像的圆心表示，则假设各个圆心图像坐标依次为(X1,Y1)，(X2,Y2)，(X3,Y3)...(XN,YN)，其中，(X1,Y1)为定位圆初始位置圆心图像坐标，N的2 2
值为第一旋转轴旋转次数加1；假设该组圆心图像坐标拟合为的圆方程为：x+y+ax+bx+cx＝0。

[0093] 利用上述拟合圆方程可知：

[0094]

[0095] 其中：

[0096]

[0097] 将上述式(2)代入上述式(1)中求解获得拟合圆的圆心图像坐标为(-a/2,-b/2)，且该拟合圆的半径为

[0098] 可选地，参见图5，上述方法实施例中，步骤S103控制所述第一旋转轴的轴心图像坐标与所述拟合圆心的图像坐标重合的过程，可以通过以下步骤实现：

[0099] 步骤S201：控制所述第一旋转轴的轴心沿着所述机械手坐标系的X轴平移第一空间位移，同时获取所述第二相机采集的定位圆的第一图像位移。

[0100] 其中，沿着机械手坐标系的X轴，将第一旋转轴平移stepNX个单位，该stepNX为第一空间位移，即机械手坐标系X轴方向的位移长度。同时，获取平移前后的第二相机采集的定位圆在图像中的图像位移(ΔXx,ΔXy)。

[0101] 步骤S202：控制所述第一旋转轴的轴心沿着所述机械手坐标系的Y轴平移第二空间位移，同时获取所述第二相机采集的定位圆的第二图像位移。

[0102] 同理步骤S201，沿着机械手坐标系的Y轴，将第一旋转轴平移stepNY个单位，该stepNY为第二空间位移，即机械手坐标系Y轴方向的位移长度。同时，获取平移前后的第二相机采集的定位圆在图像中的图像位移(ΔYx,ΔYy)。

[0103] 步骤S203：依据所述第一空间位移及所述第一图像位移，计算单位第一空间位移对应的第一图像位移，并依据所述第二空间位移及所述第二图像位移，计算单位第二空间位移对应的第二图像位移。

[0104] 其中，计算沿着机械坐标系X轴进行一个单位的空间位移对应的图像位移(ΔXx/stepNX,ΔXy/stepNX)，同理，计算沿着机械坐标系Y轴进行一个单位的空间位移对应的图像位移(ΔYx/stepNY,ΔYy/stepNY)。

[0105] 步骤S204：将所述定位圆的圆心初始图像坐标与所述拟合圆心的图像坐标之差确定为第三图像位移；其中，所述定位圆的初始图像坐标为，未控制所述第一旋转轴旋转前，所述定位圆的图像坐标。

[0106] 其中，假设第一旋转轴未进行旋转前定位圆圆心的初始图像坐标为(xpm,ypm)，假设拟合圆的圆心图像坐标为(xpn,ypn)，从而，利用式(3)计算获得的第三图像位移。

[0107]

[0108] 步骤S205：依据所述单位第一空间位移对应的第一图像位移、所述单位第二空间位移对应的第二图像位移，以及所述第三图像位移，确定空间位移量。

[0109] 其中，假设第一旋转轴在机械手坐标系的X轴及Y轴上需要进行的空间位移分别为nX及nY，依据下述式(4)提供的计算公式，获得nX及nY的值。

[0110]

[0111] 步骤S206：控制所述第一旋转轴平移所述空间位移量，以使所述第一旋转轴的轴心图像坐标与所述拟合圆心的图像坐标重合。

[0112] 需要说明的是，将第一旋转轴从初始位置，即未沿着X轴及Y轴平移前的位置，沿着机械手坐标系X轴及Y轴分别平移nX及nY的位移量。以使第一旋转轴的轴心对准拟合圆图像坐标。

[0113] 由以上的技术方案可知，本实施例通过分别沿着机械手坐标系的X轴及Y轴平移一个单位的空间位移，记录第一相机采集的定位圆圆心的图像坐标位移，通过空间位移与图像坐标位移之间的关系，反解出使得第一旋转轴的轴心对准拟合圆心图像坐标需要对第一旋转轴进行的空间位移。需要说明的是，各个空间位移均是以机械手坐标系为基准的位移。

[0114] 需要说明的是，考虑到实际应用中机械手的定位误差以及第二相机安装位置的误差等影响因素，可以多次重复上述步骤S201至步骤S205，直至确定出的空间位移可以使所述第一旋转轴轴心投影坐标对准拟合圆心图像坐标。当然，基于上述实际应用中的影响因素，可以并不一定要求完全对准，只需第一旋转轴作旋转运动时，定位圆圆心图像坐标的轨迹是，以第一旋转轴轴心图像坐标为圆心的圆，且所述圆的半径小于预设距离如3个像素长度即可。

[0115] 下面对预设运动模型进行说明。参见图6，其示出了本申请提供的一种运动模型对应的几何关系图。该图中的线段61、线段62及线段63表示机器人的机械前臂结构示意图，且在该图中：

[0116] 原点(0,0)为机械坐标系的原点O；X及Y分别为机械坐标系的X轴及Y轴；矩形框表示第一相机即机器人眼睛的视野范围；d1为机械前臂中第一运动臂的长度；d2为机械前臂中第二运动臂的长度；lc为第一相机与第一旋转轴的距离；αc为第一相机成像中心与第一旋转轴轴心之间的连线与第二运动臂之间的夹角；βc为第一相机坐标系的X轴与第二运动臂之间的夹角；α为机械坐标系Y轴与第二运动臂之间的夹角；(x,y)为第一运动臂与第二运动臂的第二旋转轴的轴心机械坐标；(x0,y0)为第一旋转轴的机械坐标；(xpix,ypix)为第一相机采集的定位圆图像坐标。

[0117] 由图6示出的几何关系可知，模型参数间满足下述式(5)：

[0118]

[0119] 由式(5)进一步获得：

[0120]

[0121]

[0122] 且，第一相机在机械坐标系下的位姿角α的位满足下述式(6)：

[0123]

[0124] 另外，αc及lc可以利用第一相机及第二相机采集的圆心图像坐标表示，具体如下：

[0125] 将第二相机平移至Pn，记录Pn的机械坐标，再将第一相机的视野中央移动至Pn对齐，记录第一旋转轴的机械坐标Pn’，利用下述式(7)对αc及lc进行表示。

[0126]

[0127] 其中，Px’是第一相机视野中央移至Pn对齐时的(x,y)点。

[0128] 对预设运动模型进行转化，可以获得：

[0129]

[0130] 其中：w、h分别为第一相机成像的宽度及高度；umbyPixel表示一个像素点的实际空间距离，单位为μm/pix；Xpix＝(xpix,ypix)表示目标物体的图像坐标；Xp＝(xp,yp)表示第一旋转轴的机械坐标。

[0131] 需要说明的是，上述式(8)可以表示第一旋转轴坐标系与第一相机坐标系之间的转换关系，该转换关系中的模型参数可以用平移矩阵T及旋转矩阵R表示，具体如下述式(9)：

[0132] Xp＝R·Xpix+T (9)

[0133] 基于图6示出的运动模型对应的几何关系，可选地，参见图7，上述方法实施例中，步骤S106依据所述第一旋转轴的机械坐标、所述第一旋转轴每一次平移的位移量，以及所述第一相机在每一次平移后采集的定位圆图像的图像坐标，确定预设运动模型中模型参数的值的过程，可以通过以下步骤实现：

[0134] 步骤S301：依据所述第一旋转轴的机械坐标，以及所述第一旋转轴每一次平移的位移量，确定所述第一旋转轴每一次平移后的第一机械坐标。

[0135] 其中，将步骤S105中每一次对第一旋转轴的平移的位移量加上步骤S104获得的第一旋转轴的机械坐标，从而确定出每一次对第一旋转轴平移后的第一旋转轴的机械坐标。

[0136] 步骤S302：获取所述第一相机在每一次平移后采集的定位圆图像的第一图像坐标。

[0137] 其中，对第一旋转轴的平移会带动第一相机的平移，控制第一相机在每一次平移后均采集定位圆的圆心图像，进而获取各个圆心图像的图像坐标。可选地，第一旋转轴的平移次数与预设运动模型中模型参数的个数可以相同，也可以不同。例如，预设运动模型中的模型参数为9个，第一旋转轴的平移次数可以为9次，从而第一相机可以采集到9个定位圆的圆心图像，具体可参见图8所示。

[0138] 步骤S303：依据各个所述第一机械坐标以及各个所述第一图像坐标，确定预设运动模型中模型参数的第一值。

[0139] 其中，将各个第一旋转轴的机械坐标及相对应的第一相机采集的图像坐标代入上述式(9)示出的预设运动模型中，从而求解出模型参数R及T的值。

[0140] 例如，将9个定位圆圆心图像坐标(Xpix1、Xpix2……Xpix9)及对应的第一旋转后的机械坐标(Xp1、Xp2……Xp9)代入预设运动模型中获得式(10)：

[0141]

[0142] 对该式进行求解从而获得模型参数R及T的第一值，即粗略值RR及TR。

[0143] 需要说明的是，利用上述方法求解出的模型参数的值并不精确，为了提高标定准确度，可以再次对第一旋转轴进行多次平移，并在每一次平移后采集定位圆的圆心图像，利用该重新采集的数据对模型参数进行精确标定。具体地，对模型参数进行两次求解的过程参见图7，在上述方法实施例中的步骤之后(步骤S301至步骤S303)，还包括以下步骤：

[0144] 步骤S304：依据所述模型参数的第一值对应的运动模型，确定多个预设定位圆图像坐标各自对应的第一旋转轴的第二机械坐标；其中，所述多个预设定位圆图像坐标是第一相机成像图像中的图像坐标。

[0145] 其中，预设多个定位圆图像坐标，作为控制第一旋转轴平移的依据，也就是说，在每一次平移第一旋转轴时，使定位圆圆心图像在第一相机的成像区域中依次出现在预设的坐标位置处。为了能使定位圆图像能均衡地出现在第一相机成像图像中，提高模型参数求解的精确度，优选地，预设的定位圆图像坐标为9个，且该9个预设定位圆图像坐标可将第一相机的成像图像平均分割。

[0146] 例如，9个 预设 的坐标 位置 分别为 (w/4,h/4)，(w/2,h/4)，(3w/4,h/4)，(w/4,h/2)，(w/2,h/2)，(3w/4,h/2)，(w/4,3h/4)，(w/2,3h/4)，(3w/4,3h/4)，其中，w为第一相机的成像区域宽度，h为第一相机的成像区域高度。

[0147] 将各个定位圆图像坐标代入模型参数值用第一值表示的运动模型中，从而求解出每一个定位圆图像坐标对应的机械坐标，所述机械坐标为第一旋转轴的机械坐标，即在机械手坐标系下对第一旋转轴进行平移的空间坐标。

[0148] 例如，各个定位圆圆心图像坐标(Xpix1'、Xpix2'……Xpix9')如下述式(11)所示：

[0149]

[0150] 步骤S305：控制所述第一旋转轴依次平移至各个所述第二机械坐标，并获取所述第一相机在每一次平移后采集的定位圆图像的第二图像坐标。

[0151] 其中，依据步骤S304计算获得的各个机械坐标，依次平移第一旋转轴至所述各个机械坐标，同时第一相机采集第一旋转轴每一次平移后的定位圆图像坐标，定位圆图像如图9所示。

[0152] 步骤S306：依据各个所述第二机械坐标以及各个所述第二图像坐标，确定所述预设运动模型中模型参数的第二值。

[0153] 其中，利用该各个圆心图像坐标及反解出的第一旋转轴的机械坐标，再次求解上述模型参数R及T的第二值，即精确值Rp及Tp。

[0154] 例如，将各个圆心图像坐标(Xpix1'、Xpix2'……Xpix9')及对应的第一旋转轴的机械坐标(Xp1'、Xp2'……Xp9')代入下述式(12)，求解出运动模型的模型参数的精确值Rp及Tp。

[0155]

[0156] 优选地，上述机器人手眼标定系统中，定位圆的直径长度所占的像素比为图像宽度的0.05～0.3，且定位圆图像的灰度值需要与平台背景有一定色差。第二相机安装在第一旋转轴上，且保证第一旋转轴作平移运动时，该第二相机相对于机械坐标系的位姿角维持不变。

[0157] 下面对本发明实施例提供的机器人手眼标定装置进行介绍，需要说明的是，有关机器人手眼标定装置的说明可参见上文描述的机器人手眼标定方法，此处不做赘述。

[0158] 参见图10，其示出了本发明实施例提供的机器人手眼标定装置的结构，该装置应用于如图1所示的机器人手眼标定系统，该装置具体包括：

[0159] 第一旋转轴旋转单元100，用于控制所述第一旋转轴多次旋转，并获取所述第二相机在每一次旋转后采集的定位圆图像；

[0160] 拟合圆心坐标确定单元200，用于对所述第二相机采集的各个定位圆图像进行拟合，获取拟合圆心；

[0161] 第一旋转轴对准单元300，用于控制所述第一旋转轴的轴心图像坐标与所述拟合圆心的图像坐标重合；

[0162] 机械坐标获取单元400，用于获取平移后的第一旋转轴的机械坐标；所述机械坐标是在机械手坐标系下的坐标；

[0163] 定位圆图像采集单元500，用于控制所述第一旋转轴在预设空间范围内多次平移，并获取所述第一相机在每一次平移后采集的定位圆图像；

[0164] 运动模型参数确定单元600，用于依据所述第一旋转轴的机械坐标、所述第一旋转轴每一次平移的位移量，以及所述第一相机在每一次平移后采集的定位圆图像的图像坐标，确定预设运动模型中模型参数的值；其中，所述预设运动模型表征机器人第一相机坐标系与所述机械手坐标系的转换关系。

[0165] 由以上的技术方案可知，本发明实施例通过旋转第一旋转轴时，第二相机采集的各个定位圆图像坐标，引导第一旋转轴的轴心指向定位圆圆心图像坐标拟合后的圆心，进而获得第一旋转轴在机械坐标系下的坐标，然后，控制所述第一旋转轴，以使所述定位圆出现在所述第一相机的视野范围内，并多次平移第一旋转轴，以使第一相机采集到多个定位圆图像坐标，进而利用第一旋转轴的机械坐标，第一旋转轴的平移量及第一相机采集的图像坐标，求解预设运动模型中模型参数的值，由于运动模型可以定性并定量地描述机器人第一相机坐标系与机械手坐标系之间的空间坐标转换关系，从而实现了机器人的手眼标定。

[0166] 可选地，上述装置实施例中的第一旋转轴对准单元300包括：

[0167] X轴平移控制子单元，用于控制所述第一旋转轴的轴心沿着所述机械手坐标系的X轴平移第一空间位移，同时获取所述第二相机采集的定位圆的第一图像位移；

[0168] Y轴平移控制子单元，用于控制所述第一旋转轴的轴心沿着所述机械手坐标系的Y轴平移第二空间位移，同时获取所述第二相机采集的定位圆的第二图像位移；

[0169] 单位位移确定子单元，用于依据所述第一空间位移及所述第一图像位移，计算单位第一空间位移对应的第一图像位移，并依据所述第二空间位移及所述第二图像位移，计算单位第二空间位移对应的第二图像位移；

[0170] 图像位移确定子单元，用于将所述定位圆的初始图像坐标与所述拟合圆心的图像坐标之差确定为第三图像位移；其中，所述定位圆的初始图像坐标为，未控制所述第一旋转轴旋转前，所述定位圆的图像坐标；

[0171] 空间位移确定子单元，用于依据所述单位第一空间位移对应的第一图像位移、所述单位第二空间位移对应的第二图像位移，以及所述第三图像位移，确定空间位移量；

[0172] 执行器平移子单元，用于控制所述第一旋转轴平移所述空间位移量，以使所述第一旋转轴的轴心图像坐标与所述拟合圆心的图像坐标重合。

[0173] 可选地，参见图11，上述装置实施例中的运动模型参数确定单元600包括：

[0174] 第一机械坐标确定子单元601，用于依据所述第一旋转轴的机械坐标，以及所述第一旋转轴每一次平移的位移量，确定所述第一旋转轴每一次平移后的第一机械坐标；

[0175] 第一图像坐标获取子单元602，用于获取所述第一相机在每一次平移后采集的定位圆图像的第一图像坐标；

[0176] 第一模型参数确定子单元603，用于依据各个所述第一机械坐标以及各个所述第一图像坐标，确定预设运动模型中模型参数的第一值。

[0177] 可选地，上述装置实施例中的第一模型参数确定子单元还可以与下述各个子单元相连，从而完成对运动模型参数的精确标定。如图11所示，各个子单元包括：

[0178] 第二机械坐标确定子单元604，用于依据所述模型参数的第一值对应的运动模型，确定多个预设定位圆图像坐标各自对应的第一旋转轴的第二机械坐标；其中，所述多个预设定位圆图像坐标是第一相机成像图像中的图像坐标；

[0179] 第二图像坐标确定子单元605，用于控制所述第一旋转轴依次平移至各个所述第二机械坐标，并获取所述第一相机在每一次平移后采集的定位圆图像的第二图像坐标；

[0180] 第二模型参数确定子单元606，用于依据各个所述第二机械坐标以及各个所述第二图像坐标，确定所述预设运动模型中模型参数的第二值。

[0181] 可选地，所述运动模型参数确定单元600确定的预设运动模型中的模型参数包括：

[0182] 机械前臂中第一运动臂的长度、机械前臂中第二运动臂的长度、第一相机与第一旋转轴的距离、第一相机成像中心与第一旋转轴的轴心之间的连线与第二运动臂之间的夹角、第一相机坐标系的X轴与第二运动臂之间的夹角、机械坐标系Y轴与第二运动臂之间的夹角、第一运动臂与第二运动臂的第二旋转轴的轴心机械坐标、第一旋转轴的机械坐标、及第一相机采集的定位圆的图像坐标。

[0183] 需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

[0184] 对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。