显示用于机器人的示教的信息的机器人系统

摘要

本发明提供一种显示用于机器人的示教的信息的机器人系统，该机器人系统具备机器人控制装置、包含正交点动操作部的示教操作面板以及信息显示装置。机器人控制装置将机器人的机械手前端部可以通过的机器人坐标系上的多个位置设为取样点，向信息显示装置通知各取样点的位置和各取样点是否在机械手前端部的可动范围内以及各取样点是否在奇点附近的判定结果信息。信息显示装置使用各取样点的位置与判定结果信息，生成用于在视觉上区分机械手前端部的可动范围的部分、奇点附近的部分等的图形图像并叠加显示于机器人的影像上。

权利要求

1.一种机器人系统，其具备控制机器人的机器人控制装置、包含对于固定在该机器人中的机器人坐标系的正交3轴方向的各方向或者合成方向进行所述机器人的手动操作的正交点动操作部的示教操作面板、以及显示用于所述机器人的示教的信息的信息显示装置，该机器人系统的特征在于，所述机器人控制装置具备：

取样点计算部，其分别按照预定的周期来计算所述机器人的机械手前端部能够在由所述正交点动操作部指定的移动方向通行的所述机器人坐标系上的多个位置并设为取样点；

判定部，其进行判定各所述取样点是否在所述机械手前端部的可动范围内的第1判定处理以及判定各所述取样点是否在机器人的奇点附近的第2判定处理；以及通知部，其向所述信息显示装置通知各所述取样点的位置和表示各所述取样点的、所述第1判定处理以及所述第2判定处理的结果的判定结果信息，所述信息显示装置具备：

摄像机，其拍摄所述机器人；

显示部，其显示通过所述摄像机拍摄的所述机器人的影像；以及显示处理部，其使用各所述取样点的位置以及所述判定结果信息，以表示通过各所述取样点的直线状轨迹并且分别在视觉上区分该直线状轨迹中的所述机械手前端部的可动范围内的部分和所述机械手前端部的可动范围外的部分以及所述奇点附近的部分的方式来生成图形图像，并进行与所述机器人的影像叠加的处理。

2.根据权利要求1所述的机器人系统，其特征在于，

所述显示处理部具备：

相关性推定部，其推定固定在所述摄像机中的摄像机坐标系的原点与所述机器人坐标系的原点的相关性；

位置数据转换部，其使用所述相关性将各所述取样点的位置转换为在所述摄像机坐标系中的位置；

图形图像生成部，其使用各所述取样点在所述摄像机坐标系中的位置与各所述取样点的所述判定结果信息，生成所述图形图像；以及图像处理部，其根据各所述取样点在所述摄像机坐标系中的位置，进行将所述图形图像与所述机器人的影像叠加的处理。

3.根据权利要求1或2所述的机器人系统，其特征在于，所述信息显示装置构成为，根据所述指定的移动方向的变更来更新与所述机器人的影像叠加的所述图形图像。

4.根据权利要求1或2所述的机器人系统，其特征在于，所述信息显示装置由摄像机一体型头戴式显示装置构成。

5.根据权利要求1或2所述的机器人系统，其特征在于，所述信息显示装置被安装在所述示教操作面板中，

所述示教操作面板具有用于显示通过所述摄像机拍摄的所述机器人的影像的显示屏，所述显示处理部将所述图形图像叠加显示于所述显示屏中显示的所述机器人的影像上。

说明书

显示用于机器人的示教的信息的机器人系统

技术领域

[0001] 本发明涉及显示用于机器人的示教的信息的机器人系统。

背景技术

[0002] 在针对生产现场中的作业使用多关节机器人时，有时机器人的操作者使用连接到机器人控制装置的示教操作面板来实际操作机器人，并对机器人示教所期望的作业动作。

[0003] 在机器人的示教操作中，几乎都是以下情况：一边按下配置在示教操作面板中的用于指定机器人动作方向的键一边进行使机器人移动到理想的位置的操作，即所谓点动操作。作为点动操作的主要的操作方法，有正交点动操作，其使机器人的机械手前端部在固定在机器人中的正交坐标系的X轴、Y轴或者Z轴方向移动；以及各轴点动操作，其使机器人按照机器人的各轴部在围绕轴的方向移动。正交点动操作是基于人类易于理解的正交坐标系的操作，因此操作者大多通过正交点动操作来进行机器人示教操作。

[0004] 另外，以往提出了一种技术(例如，参照日本特开平7-295625号公报)：如果操作者操作机器人控制装置的示教操作面板来进行点动模式的指定，则与机器人的图像一起，在画面上对所指定的点动模式的内容，例如点动进给方向进行图形显示。

发明内容

[0005] 通常，如果通过上述正交点动操作指定机器人机械手前端部的移动方向来生成指令位置，则根据指令位置通过逆运动学计算来计算各轴部的旋转角度，并根据该计算值，使各轴部协调动作，以使机器人机械手前端部移动到指令位置。因此，很难使机器人移动到得不到逆运动学计算的解的指令位置。例如，针对2个以上的轴部的旋转轴排列在一条直线上那样的机器人姿势的指令位置，无法唯一地确定这些轴部的旋转角度，因此无法将机器人移动到像那样的位置。如此无法控制机器人的位置被称为奇点，在通过正交点动操作进行机器人示教时，需要避开奇点或其附近来移动机器人的机械手前端部。

[0006] 但是，奇点取决于机器人的机构，因此操作者往往无法识别出机器人的姿势接近奇点，被判断为奇点附近的区域也取决于奇点的位置。因此，操作者很难找出有效地避开奇点的方法。在上述日本特开平7-295625号公报所公开的方法中，仅对点动进给方向进行图形显示，因此无法使机器人示教中的操作者识别奇点的位置。

[0007] 因此，在正交点动操作中，需要一种能够使操作者容易地识别机器人的机械手前端部的移动方向以及在该移动方向存在奇点的技术。

[0008] 本公开的一个方式是一种机器人系统，其具备控制机器人的机器人控制装置、包含对于固定在该机器人中的机器人坐标系的正交3轴方向的各方向或者合成方向进行所述机器人的手动操作的正交点动操作部的示教操作面板、以及用于显示所述机器人的示教的信息的信息显示装置，该机器人系统的特征在于，

[0009] 所述机器人控制装置具备：

[0010] 取样点计算部，其分别按照预定的周期来计算所述机器人的机械手前端部能够在由所述正交点动操作部指定的移动方向通行的所述机器人坐标系上的多个位置并设为取样点；

[0011] 判定部，其进行判定各所述取样点是否在所述机器人的奇点附近的判定处理；以及

[0012] 通知部，其向所述信息显示装置通知各所述取样点的位置和表示各所述取样点的、所述判定处理的结果的判定结果信息，

[0013] 所述信息显示装置具备：

[0014] 摄像机，其拍摄所述机器人；

[0015] 显示部，其显示通过所述摄像机拍摄的所述机器人的影像；以及[0016] 显示处理部，其使用各所述取样点的位置以及所述判定结果信息，以表示通过各所述取样点的直线状轨迹并且分别在视觉上区分该直线状轨迹中的所述机械手前端部的可动范围内的部分与所述机械手前端部的可动范围外的部分以及所述奇点附近的部分的方式来生成图形图像，并进行与所述机器人的影像叠加的处理。

附图说明

[0017] 通过与附图有关的以下实施方式的说明，本发明的目的、特征以及优点会变得更清楚。在这些图中：

[0018] 图1是表示一个实施方式的机器人系统的功能框图，

[0019] 图2是示出了机器人的一个结构例的侧面图，

[0020] 图3A是示出了多关节机器人的奇点的一个例子的示意图，

[0021] 图3B是示出了多关节机器人的奇点的其他例子的示意图，

[0022] 图4示意性地示出了通过一个实施方式的机器人系统叠加了图形图像的机器人的影像例，

[0023] 图5是示出了图1的机器人控制装置的处理流程的流程图，

[0024] 图6是示出了图1的信息显示装置的处理流程的流程图。

具体实施方式

[0025] 以下，参照附图来说明本发明的实施方式。贯穿全部附图，对相对应的结构要素赋予共通的参照符号。为了便于理解，这些附图适当变更了比例尺。另外，附图中所示的方式是用于实施本发明的一个例子，本发明并不限定于图示出的方式。

[0026] 图1是表示一实施方式的机器人系统1的功能框图。

[0027] 本实施方式的机器人系统1具备控制机器人10的机器人控制装置11、用于进行机器人10的示教操作的示教操作面板12以及显示与机器人10的控制有关的信息的信息显示装置13。

[0028] 图2是表示机器人10的一个结构例的侧面图。图示出的机器人10是6轴垂直多关节机器人。如图2所示，机器人10具备6个轴部(关节部)10a1～10a6以及通过轴部10a1～10a6分别连结的多个机械臂部(链接部)10b。在轴部10a1～10a6的每一个中，内置旋转驱动各机械臂部10b的电动机(未图示)。此外，并不限定于图2的机器人方式，可以应用本发明的机器人的方式只要是具有多个关节部的多关节机器人即可。

[0029] 在机器人10的主体上还固定有机器人坐标系26。在本实施方式中，机器人坐标系26的原点被设定在机器人10的基座部。在图2中，通过虚线的圆框还示出了机器人坐标系26的放大图。在图2的例子中，机器人坐标系26的原点被设定在机器人10的基座部，该原点作为中心，设图2的右方向为+X轴方向、图2的上方向为+Z轴方向、相对于图2的纸面的深度方向为+Y轴方向。机器人控制装置11以及示教操作面板12使用上述机器人坐标系26中的位置(坐标)，能够控制机器人10的机械手前端部的位置，例如TCP(工具中心点：tool center point)27。

[0030] 再次参照图1，示教操作面板12与机器人控制装置11通过有线或者无线可相互通信地连接。示教操作面板12包含用于对于固定在机器人10中的机器人坐标系的正交3轴方向(X轴方向、Y轴方向、Z轴方向)的各方向或者合成方向进行机器人10的手动操作的正交点动操作部14。

[0031] 示教操作面板12除了正交点动操作部14，还具有各轴点动操作部、工具点动操作部等(未图示)。各轴点动操作部是用于单独手动操作机器人10的各轴部10a的操作部，工具点动操作部是用于根据固定在可安装工具地设置的机器人10的机械手前端部的凸缘表面28(参照图2)中的工具坐标系来手动操作机器人10的操作部。作为工具，能够使用机械手前端部、螺栓夹具、焊枪等。

[0032] 机器人控制装置11具有按照预先存储在机器人控制装置11中的动作程序来生成机器人10的各轴部10a的动作指令并发送至各轴部10a的电动机，并且接收机器人10的各轴部10a的旋转角度、旋转速度的功能。

[0033] 各轴部10a的电动机具备检测该电动机的旋转角度、旋转速度的编码器。通过各轴部10a的电动机所具备的编码器来获取各轴部10a的旋转角度、旋转速度。机器人控制装置11控制机器人10，以使通过编码器输出的旋转角度、旋转速度与动作指令(位置指令、速度指令)一致。在各轴部10a中不限定于编码器，还可以具备能够测量轴部10a的旋转位置、旋转速度的测量器。

[0034] 在对机器人10示教所期望的作业动作时，操作者使用示教操作面板12来进行机器人10的示教操作。例如，如果操作者按下示教操作面板12的正交点动操作部14中的+X轴方向点动键，则示教操作面板12内的处理器(未图示)生成与所按下的点动键相对应的+X轴方向的动作指令，输出至机器人控制装置11。示教操作时，机器人控制装置11通过从示教操作面板12输入的动作指令来控制机器人10。

[0035] 另外，本实施方式的正交点动操作部14通过同时操作X轴方向点动键、Y轴方向点动键以及Z轴方向点动键中的至少2个点动键，能够使机器人10在合成了与所操作的至少2个点动键的每一个相对应的方向的方向移动。例如，如果同时操作+X轴方向点动键与+Y轴方向点动键，则机器人10在XY平面的斜向45度方向移动。

[0036] 但是，在机器人10中，存在发生以下问题的机器人位置即奇点：根据针对机器人10的机械手前端部的移动指令(位置指令、速度指令)通过逆运动学计算无法决定机器人10的各轴部10a的旋转角度、旋转速度的问题。

[0037] 例如，图3A以及图3B是示例出多关节机器人的奇点的示意图。在这些图中，示意性地描绘出图2示出的机器人10的轴部10a1～10a6。如图3A所示，当第4轴部10a4的旋转中心与第6轴部10a6的旋转中心是排列在同一直线上的机器人姿势时，机器人机械手前端部的工具29的旋转既可以通过第4轴部10a4的旋转来进行，也可以通过第6轴部10a6的旋转来进行。如图3B所示，即使在第1轴部10a1的旋转中心与第6轴部10a6的旋转中心是排列在同一直线上的机器人姿势时，机器人机械手前端部的工具29的旋转既可以通过第1轴部10a1的旋转来进行，也可以通过第6轴部10a6的旋转来进行。因此，针对成为图3A、图3B示出的机器人姿势那样的TCP27的目标位置，通过逆运动学计算不会唯一地确定各轴部的旋转角度。因此，如果使TCP27移动到机器人10的2个以上的轴部的旋转中心排列在同一直线上那样的3维位置以及其附近，则可能存在不能控制机器人10的情况。

[0038] 因此，在本实施方式中，机器人控制装置11以及信息显示装置13具备以下那样的功能部分，以使在正交点动操作时使操作者容易地识别机器人姿势接近上述那样的奇点以及其附近。

[0039] 如图1所示，机器人控制装置11具备取样点计算部15、判定部16以及通知部17。

[0040] 具体而言，取样点计算部15具有分别计算机器人10的机械手前端部(例如，TCP27)可以在由正交点动操作部14指定的移动方向(例如，+X轴方向或者+X轴方向与+Y轴方向的合成方向等)通行的多个位置并设为取样点的功能。计算出的多个位置(取样点)是上述机器人坐标系上的位置(坐标)。

[0041] 具体而言，取样点计算部15基于根据机器人10的各轴部10a所具备的编码器的输出值得到的各轴部10a的旋转角度，来计算机器人10的机械手前端部(例如，TCP)的当前位置。能够通过正向运动学计算来求出该当前位置。取样点计算部15根据求出的当前位置与由正交点动操作部14指定的移动方向(以下，简称为指定的移动方向。)，按照预定的周期来计算上述各取样点。

[0042] 该预定的周期是比通过机器人示教操作生成的机器人10的动作指令的生成周期短得多的周期。因此，各取样点比机器人10的示教操作中的动作速度更早被计算。进一步，设预定的周期是能够以短于为了判定后述的机器人10的奇点附近而预先决定的区域的间隔来计算各取样点的周期。

[0043] 判定部16具有进行判定计算出的各取样点是否在机器人10的机械手前端部的可动范围内的第1判定处理与进行判定计算出的各取样点是否在机器人10的奇点附近的第2判定处理的功能。

[0044] 针对上述机器人10的机械手前端部的可动范围，使用设计机器人10的机构部时的尺寸数据，例如各轴部的间隔、机械臂部的长度等，能够预先求出机器人10的机械手前端部在机器人坐标系上可以达到的范围。通过将像这样的可动范围预先存储在机器人控制装置11的存储部(未图示)中，判定部16能够判定取样点是否在机器人10的机械手前端部的可动范围内。

[0045] 奇点是难以根据针对机器人机械手前端部的移动指令(位置指令、速度指令)来唯一地确定机器人10的各轴部10a的旋转角度、旋转速度的机器人机械手前端部的位置。因此，能够根据是否存在针对计算出的取样点的位置很难获得逆运动学计算的解的轴部10a，来进行该取样点是否是机器人10的奇点的判定。进一步，即使得到逆运动学计算的解，也能够根据是否具有在该解的旋转角度无法追踪控制电动机的轴部10a，来进行该取样点是否在机器人10的奇点的附近的判定。

[0046] 即在本申请中提到的机器人的奇点相当于如上所述无法得到逆运动学计算的解的机器人机械手前端部的位置，进一步，在本申请中提到的机器人的奇点附近相当于即使得到该逆运动学计算的解，也会产生不能进行所期望的电动机控制的轴部那样的机器人机械手前端部的位置范围。

[0047] 针对上述奇点附近的判定，只要判定在从判定为机器人的奇点的机器人机械手前端部的位置(TCP的位置)加上预定的设定范围的区域内是否存在取样点即可。

[0048] 通知部17具有向信息显示装置13通知各取样点在机器人坐标系中的位置与表示各取样点的、第1判定处理以及第2判定处理的结果的判定结果信息的功能。信息显示装置13与机器人控制装置11通过有线或者无线可相互通信地连接。

[0049] 如图1所示，信息显示装置13具备摄像机18、显示部19以及增强现实显示处理部20。

[0050] 信息显示装置13例如由摄像机一体型头戴式显示装置构成。该头戴式显示装置所具备的摄像机部是摄像机18，头戴式显示装置的与人眼对应配置的眼镜式显示部可以成为显示部19。

[0051] 具体而言，摄像机18拍摄现实空间上的机器人10。显示部19能够显示通过摄像机18拍摄的机器人10的影像。

[0052] 增强现实显示处理部20能够使用由机器人控制装置11的通知部17通知的各取样点的位置以及判定结果信息，进行生成图形图像并叠加在显示部19的机器人10的影像上的处理。该图形图像被生成为表示通过各取样点的直线状轨迹并且分别在视觉上区分在该直线状轨迹中的机器人10的机械手前端部的可动范围内的部分与该机械手前端部的可动范围外的部分以及机器人10的奇点附近的部分。

[0053] 例如，增强现实显示处理部20能够分别针对在可动范围内的取样点、在可动范围外的取样点以及在奇点附近的取样点，以互不相同的显示颜色或者显示形状等来生成图形图像。

[0054] 更具体而言，如图1所示，上述增强现实显示处理部20具备相关性推定部21、位置数据转换部22、图形图像生成部23以及图像处理部24。

[0055] 相关性推定部21具有推定固定在摄像机18中的摄像机坐标系的原点与机器人坐标系的原点的相关性的功能。例如，相关性推定部21计算用于求出从摄像机坐标系的原点观察的机器人坐标系的原点位置与方向的坐标转换矩阵。这是由于即使摄像机18相对于机器人10的相对位置以及相对角度改变，也需要在摄像机18的机器人10的影像上以适当的方向以及位置叠加显示上述图形图像。

[0056] 位置数据转换部22具有使用通过相关性推定部21推定出的相关性，将由通知部17通知的各取样点的位置转换为摄像机坐标系中的位置的功能。

[0057] 图形图像生成部23具有使用各取样点在摄像机坐标系中的位置与由通知部17通知的各取样点的判定结果信息，生成上述那样的图形图像的功能。为了以适合机器人10的影像的方式生成上述图形图像，图形图像生成部23使用各取样点在摄像机坐标系中的位置。

[0058] 图像处理部24具有根据各取样点在摄像机坐标系中的位置，进行将上述图形图像叠加在显示部19的机器人10的影像上的处理的功能。

[0059] 在这里，图4示意性地示出了叠加了上述那样的图形图像的机器人10的影像例。如图4所示，机器人10的操作者25能够佩戴由摄像机一体型头戴式显示装置构成的信息显示装置13，一边识别与眼部相对应的显示部19的机器人10的影像以及上述图形图像，一边通过示教操作面板12进行正交点动操作。另外，机器人10的操作者25在通过正交点动操作使机器人10的机械手前端部在预定的移动方向移动时，能够容易地从显示部19识别是否在该移动方向存在无法移动机器人机械手前端部的奇点附近、可动范围外等。

[0060] 例如，在如图4所示的图形图像30中，符号A的区域(图中的斜线部分)表示奇点附近，符号B的区域(图中的虚线框内的空白部分)表示可动范围外，符号C的区域(图中的点描绘部分)表示正常的动作范围。可以用不同的颜色来区分符号A、B、C的各区域。

[0061] 另外，在通过正交点动操作部14指定的移动方向被变更为其他的移动方向时(例如，从+X轴方向变更为+Y轴方向时)，如上构成的信息显示装置13根据该变更后的方向，能够如上所述，更新叠加在机器人10的影像上的图形影像上。

[0062] 设通过摄像机一体型头戴式显示装置来构成上述信息显示装置13，但是可以通过各种各样的方式来实现信息显示装置13。

[0063] 例如，信息显示装置13可以安装在示教操作面板12中。这种情况下，能够将设置在示教操作面板12中的显示屏12a用作信息显示装置13的显示部19。示教操作面板12的显示屏12a具有显示通过摄像机18拍摄的机器人10的影像的功能。增强现实显示处理部20还能够将上述图形图像叠加显示在显示屏12a中显示出的机器人10的影像上。

[0064] 此外，可以使用具备经由总线互相连接的存储部、CPU(control processing unit：控制处理单元)以及通信控制部等的计算机系统来构成上述机器人控制装置11以及信息显示装置13。该存储部是诸如ROM(read only memory：只读存储器)、RAM(random access memory：随机存取存储器)、HDD(hard disk drive：硬盘驱动器)、SSD(solid state drive：固态驱动器)等存储器装置。另外，可以通过上述CPU与上述存储部协调动作来实现机器人控制装置11所具备的取样点计算部15、判定部16、以及通知部17的各个功能以及信息显示装置13所具备的相关性推定部21、位置数据转换部22、图形图像生成部23、图像处理部24以及增强现实显示处理部20的各个功能。

[0065] 接下来，参照图5以及图6，针对本实施方式的机器人系统1的动作进行说明。图5是示出了图1的机器人控制装置11的处理流程的流程图，图6是示出了图1的信息显示装置13的处理流程的流程图。但是，在实施图5的步骤S11时，设机器人控制装置11被设定为人使用示教操作面板来进行机器人的手动操作的示教操作模式。

[0066] 首先，在图5的步骤S11中，机器人控制装置11接收由正交点动操作部14指定的移动方向。接着，机器人控制装置11从机器人10的各轴部10a所具备的各编码器的输出值获取各轴部10a的旋转角度。在接下来的步骤S12中，机器人控制装置11通过正向运动学计算根据各轴部10a的旋转角度来获取机器人10的机械手前端部(例如，TCP)的当前位置。

[0067] 在接下来的步骤S13中，机器人控制装置11的取样点计算部15分别按顺序计算机器人10的机械手前端部可以在由正交点动操作部14指定的移动方向通行的机器人坐标系上的多个位置，并将计算位置设为取样点。由于获取到机器人10的机械手前端部(例如，TCP27)的当前位置与通过该机械手前端部的点动操作指定的移动方向，因此可以通过上述预定的周期，基于当前位置与移动方向来计算上述各取样点。

[0068] 在接下来的步骤S14中，机器人控制装置11的判定部16判定计算出的取样点是否在取样范围内。当取样点在取样范围内时，进行步骤S15，但是当取样点不在取样范围内时，机器人控制装置11结束处理。

[0069] 上述取样范围例如设定为较大地包含设置在地面上的机器人10的可动范围的长方体的内侧。在这种情况下，设长方体的顶点的坐标值是从连接到机器人控制装置11的示教操作面板12或者从计算机装置(未图示)等输入装置进行数值输入而保存到机器人控制装置11的存储部中的值。设该坐标值是机器人坐标系中的位置。取样范围的形状并不限定为长方体。

[0070] 在上述步骤S15中，判定部16判定计算出的取样点是否在机器人10的机械手前端部的可动范围外。可动范围的判定方法如上所述。当取样点在可动范围外时，机器人控制装置11的通知部17向信息显示装置13通知取样点的位置以及该取样点在可动范围外的判定结果信息(步骤S16)，并进行后述的步骤S20。另一方面，当取样点在可动范围外时，进行步骤S17。

[0071] 在上述步骤S17中，判定部16判定计算出的取样点是否在机器人10的奇点附近。机器人的奇点附近的判定方法如上所述。当取样点在奇点附近时，通知部17向信息显示装置13通知取样点的位置以及该取样点在奇点附近的判定结果信息(步骤S18)，并进行后述的步骤S20。另一方面，当取样点不在奇点附近时，进行步骤S19。

[0072] 在上述步骤S19中，通知部17向信息显示装置13通知取样点的位置以及该取样点在正常的动作范围内的判定结果信息。

[0073] 之后，在步骤S20中，机器人控制装置11将判定部16的处理对象变更为接着计算出的取样点，并再次进行步骤S14～步骤S19的处理。在步骤S14中，一旦判定出取样点不在取样范围内，机器人控制装置11结束处理。

[0074] 另一方面，如图6所示，信息显示装置13从机器人控制装置的通知部17接收计算出的取样点的位置与该取样点的判定结果信息(步骤S21)。接收到的判定结果信息是在上述步骤S16、步骤S18以及步骤19(参照图5)中分别得到的判定结果。

[0075] 在接下来的步骤S22中，信息显示装置13获取通过摄像机18拍摄的机器人10的影像。

[0076] 在接下来的步骤S23中，信息显示装置13的相关性推定部21推定固定在摄像机18中的摄像机坐标系的原点与固定在机器人10中的机器人坐标系的原点的相关性。

[0077] 例如，相关性推定部21计算用于求出从摄像机坐标系的原点观察的机器人坐标系的原点位置和方向的坐标转换矩阵。此时，例如，根据机器人10的特征点(轮廓、角部等)从摄像机18的影像中检测出机器人10，并且根据各轴部10a的编码器的输出值来获取机器人10的当前位置的信息(位置姿势的信息)。能够根据检测出的机器人10在摄像机图像系统中的位置与机器人10的当前位置的信息，推定摄像机坐标系与机器人坐标系的相关性。

[0078] 在接下来的步骤S24中，信息显示装置13的位置数据转换部22根据通过相关性推定部21推定出的相关性，将由通知部17通知的取样点的位置转换为在摄像机坐标系中的位置。

[0079] 在接下来的步骤S25中，信息显示装置13的图形图像生成部23使用各取样点在摄像机坐标系中的位置以及判定结果信息来生成图形图像。该图形图像被生成为表示通过各取样点的直线状轨迹并且分别在视觉上区分该直线状轨迹中的机器人10的机械手前端部的可动范围内的部分与该机械手前端部的可动范围外的部分以及机器人10的奇点附近的部分(例如，参照图4示出的图形图像30)。

[0080] 在接下来的步骤S26中，信息显示装置13的图像处理部24根据各取样点在摄像机坐标系中的位置，对上述那样的图形图像进行与显示部19的机器人10的影像叠加的处理。

[0081] 通过以上所说明的步骤S21～步骤S26的处理，信息显示装置13能够在每次接受到各取样点的位置以及判定结果信息时，按照接收到的各取样点将与判定结果信息相对应的图形图像叠加显示在显示部19的机器人10的影像上。

[0082] 如上所述，根据本实施方式的机器人系统1，在通过正交点动操作进行机器人示教时，操作者能够容易地识别机器人的机械手前端部的移动方向以及在该移动方向存在奇点。

[0083] 以上，说明了本发明的实施方式，但是本领域技术人员可以理解在不脱离专利请求公开的范围内能够进行各种各样的修改和变更。

[0084] 另外，为了解决本公开的至少一个问题，能够提供以下各种方式及其效果。此外，以下的方式的说明文中的括号内的编号对应于本公开的附图的参照符号。

[0085] 本公开的第一方式是机器人系统(1)，其具备控制机器人(10)的机器人控制装置(11)、包含对于固定在该机器人(10)中的机器人坐标系的正交3轴方向的各方向或者合成方向进行所述机器人(10)的手动操作的正交点动操作部(14)的示教操作面板(12)、以及用于显示所述机器人(10)的示教的信息的信息显示装置(13)，

[0086] 所述机器人控制装置(11)具备：

[0087] 取样点计算部(15)，其分别按照预定的周期来计算所述机器人(10)的机械手前端部可以在由所述正交点动操作部(14)指定的移动方向通行的所述机器人坐标系上的多个位置并设为取样点；

[0088] 判定部(16)，其进行判定各所述取样点是否在所述机械手前端部的可动范围内的第1判定处理以及判定各所述取样点是否在奇点附近的第2判定处理；以及[0089] 通知部(17)，其向所述信息显示装置(13)通知各所述取样点的位置和表示各所述取样点的、所述第1判定处理以及所述第2判定处理的结果的判定结果信息，[0090] 所述信息显示装置(13)具备：

[0091] 摄像机(18)，其拍摄所述机器人(10)；

[0092] 显示部(19)，其显示通过所述摄像机(18)拍摄的所述机器人(10)的影像；以及[0093] 显示处理部(20)，其使用各所述取样点的位置以及所述判定结果信息，以表示通过各所述取样点的直线状轨迹并且分别在视觉上区分该直线状轨迹中的所述机械手前端部的可动范围内的部分与所述机械手前端部的可动范围外的部分以及所述奇点附近的部分的方式来生成图形图像，并进行与所述机器人(10)的影像叠加的处理。

[0094] 根据上述第一方式，在通过正交点动操作进行机器人示教时，操作者能够容易地识别机器人的机械手前端部的移动方向并且在该移动方向存在奇点。

[0095] 本公开的第二方式是上述第一方式的机器人系统(1)，其中，

[0096] 所述显示处理部(20)具备：

[0097] 相关性推定部(21)，其推定固定在所述摄像机(18)中的摄像机坐标系的原点与所述机器人坐标系的原点的相关性，

[0098] 位置数据转换部(22)，其使用所述相关性将各所述取样点的位置转换为在所述摄像机坐标系中的位置；

[0099] 图形图像生成部(23)，其使用各所述取样点在所述摄像机坐标系中的位置与各所述取样点的所述判定结果信息，生成所述图形图像；

[0100] 图像处理部(24)，其根据各所述取样点在所述摄像机坐标系中的位置，进行将所述图形图像与所述机器人(10)的影像叠加的处理。

[0101] 根据上述第二方式，即使改变摄像机相对于机器人的相对位置以及相对角度，也能够在摄像机的机器人的影像上在适当的方向以及位置叠加显示上述图形图像。

[0102] 本公开的第三方式是上述第一方式或者第二方式的机器人系统(1)，其中，所述信息显示装置(13)被构成为根据所述指定的移动方向的变更，来更新与所述机器人(10)的影像叠加的所述图形图像。

[0103] 根据上述第三方式，即使在切换了通过正交点动操作部指定的移动方向时，也能够使操作者容易地识别该切换的指定的移动方向以及在该移动方向存在的奇点附近的位置范围。

[0104] 本公开的第四方式是上述第一方式～第三方式中任一项的机器人系统(1)，其中，所述信息显示装置(13)被构成为摄像机一体型头戴式显示装置。

[0105] 根据上述第四方式，机器人示教中的操作者能够佩戴信息显示装置来一边识别对应于眼睛的显示部的机器人的影像以及上述图形图像，一边通过示教操作面板来进行正交点动操作。

[0106] 本公开的第五方式是上述第一方式～第三方式中任一项的机器人系统(1)，其中，[0107] 所述信息显示装置(13)被安装在所述示教操作面板(12)中，

[0108] 所述示教操作面板(12)具有显示通过所述摄像机(18)拍摄的所述机器人(10)的影像的显示屏(12a)，所述显示处理部(20)将所述图形图像叠加显示在所述显示屏(12a)中显示的所述机器人(10)的影像上。

[0109] 根据上述第五方式，机器人示教中的操作者能够一边通过显示操作面板的显示屏来识别上述图形图像，一边进行正交点动操作。