机器人系统显示装置

摘要

本发明提供一种机器人系统显示装置，其在通过用视觉传感器测量对象物的位置来执行希望的处理的机器人系统中，对该机器人系统的构成要素进行图形化显示。机器人系统显示装置基于视觉传感器的校准数据和预先存储的视觉传感器的形状信息，取得视觉传感器相对于机器人系统的其它构成要素的相对配置，并且基于该相对配置在虚拟空间内对视觉传感器进行图形化显示。

权利要求

1.一种机器人系统显示装置，具备：存储机器人系统的构成要素的形状信息以及配置信息的存储部；基于通过所述存储部存储的所述构成要素的所述形状信息以及所述配置信息，对所述机器人系统的所述构成要素进行图形化显示的显示部，所述机器人系统显示装置的特征在于，所述机器人系统至少具备机器人以及视觉传感器，

该机器人系统显示装置还具备：

第一取得部，其取得将成为所述机器人的动作控制的基准的机器人坐标系和成为所述视觉传感器的测量处理的基准的视觉传感器坐标系互相关联的校准数据；以及第二取得部，其基于通过所述第一取得部取得的所述校准数据和通过所述存储部存储的所述视觉传感器的形状信息，取得所述视觉传感器的配置信息，所述显示部基于通过所述存储部存储的所述视觉传感器的形状信息以及通过所述第二取得部取得的所述视觉传感器的配置信息，显示所述视觉传感器。

2.根据权利要求1所述的机器人系统显示装置，其特征在于，所述视觉传感器与所述机器人的臂的动作联动，维持相对于该臂的相对配置关系地被固定在该臂上，所述显示部基于所述臂与所述视觉传感器之间的相对配置关系，对所述视觉传感器进行图形化显示。

3.根据权利要求1所述的机器人系统显示装置，其特征在于，所述机器人系统还具备视觉目标夹具，

所述第一取得部取得将所述机器人坐标系、所述视觉传感器坐标系和所述视觉目标夹具互相关联的校准数据，该机器人系统显示装置还具备基于所述校准数据取得所述视觉目标夹具的配置信息的第三取得部，所述显示部基于通过所述存储部存储的所述视觉目标夹具的形状信息以及通过所述第三取得部取得的所述视觉目标夹具的配置信息，对所述视觉目标夹具进行图形化显示。

4.根据权利要求2所述的机器人系统显示装置，其特征在于，所述机器人系统还具备视觉目标夹具，

所述第一取得部取得将所述机器人坐标系、所述视觉传感器坐标系和所述视觉目标夹具互相关联的校准数据，该机器人系统显示装置还具备基于所述校准数据取得所述视觉目标夹具的配置信息的第三取得部，所述显示部基于通过所述存储部存储的所述视觉目标夹具的形状信息以及通过所述第三取得部取得的所述视觉目标夹具的配置信息，对所述视觉目标夹具进行图形化显示。

5.根据权利要求1所述的机器人系统显示装置，其特征在于，所述机器人系统还具备视觉目标夹具，该视觉目标夹具与所述机器人的臂的动作联动，维持相对于该臂的相对配置关系地被固定在该臂上，所述第一取得部取得将所述机器人坐标系、所述视觉传感器坐标系和所述视觉目标夹具互相关联的校准数据，该机器人系统显示装置还具备基于所述校准数据取得所述视觉目标夹具的配置信息的第三取得部，所述显示部基于根据通过所述存储部存储的所述视觉目标夹具的形状信息以及通过所述第三取得部取得的所述视觉目标夹具的配置信息求出的所述臂与所述视觉目标夹具之间的相对配置关系，对所述视觉目标夹具进行图形化显示。

6.根据权利要求1至5中任意一项所述的机器人系统显示装置，其特征在于，通过所述存储部存储的所述机器人系统的所述构成要素的形状信息是3维形状信息。

7.根据权利要求1至5中任意一项所述的机器人系统显示装置，其特征在于，该机器人系统显示装置具备控制所述视觉传感器的视觉传感器控制装置。

8.根据权利要求1至5中任意一项所述的机器人系统显示装置，其特征在于，该机器人系统显示装置具备控制所述机器人的机器人控制装置。

说明书

机器人系统显示装置

技术领域

[0001] 本发明涉及为了确认机器人、周边设备以及视觉传感器的相互间的相对配置关系而对机器人系统进行图形化显示的机器人系统显示装置。

背景技术

[0002] 已知构成为基于通过视觉传感器检测出的对象物的位置信息，由机器人对对象物进行处理或加工等作业的机器人系统。视觉传感器被安装在机器人的机械手附近，或者被安装在架台等固定部上来使用，但是在任何情况下都需要确定视觉传感器和机器人之间的相对配置关系。因此，需要预先明确成为机器人的动作控制的基准的机器人坐标系、和成为视觉传感器的测量处理的基准的视觉传感器坐标系之间的关系。用于将这种互不相同的坐标系彼此关联的处理一般被称为视觉传感器的校准，作为校准结果而获得的关联信息被称为校准数据。

[0003] JP-A-5-241626中公开了安装在机器人的可动部上的传感器的校准处理的例子。在该公知技术中，为了在传感器移动前后执行传感器的校准，基于传感器移动前的校准数据和传感器的移动量，计算传感器移动后的校准数据。

[0004] JP-A-4-35885中公开了利用安装在机器人的臂上、形成了预定图案的图案板来执行视觉传感器的校准的技术。在该公知技术中需要预先设定图案板的安装尺寸等信息，因此，在所设定的信息有错误的情况下导致得到不正确的校准数据。不限于该公知技术，在采用其它方法的情况下也需要设定要使用的构成要素的尺寸等信息，当设定信息不正确时无法执行正确的校准。

[0005] JP-A-2005-135278中公开了一种用于具备视觉传感器以及机器人的机器人系统的仿真装置。该公知技术的仿真装置被用于评价离线生成的动作程序，但是，视觉传感器的配置信息是被仿真的机器人系统的设定值。因此，无法期待通过该仿真装置发现视觉传感器的校准数据的错误。

[0006] 如前所述，现有技术中，即使视觉传感器的校准数据中有错误也难以发现。因此，期望能够容易发现视觉传感器的校准数据的错误的机器人系统显示装置。

发明内容

[0007] 根据本发明的第一方式，提供一种机器人系统显示装置，具备：存储机器人系统的构成要素的形状信息以及配置信息的存储部；基于通过所述存储部存储的所述构成要素的所述形状信息以及所述配置信息，对所述机器人系统的所述构成要素进行图形化显示的显示部，其中，所述机器人系统至少具备机器人以及视觉传感器，该机器人系统显示装置还具备：第一取得部，其取得将成为所述机器人的动作控制的基准的机器人坐标系和成为所述视觉传感器的测量处理的基准的视觉传感器坐标系互相关联的校准数据；以及第二取得部，其基于通过所述第一取得部取得的所述校准数据和通过所述存储部存储的所述视觉传感器的形状信息，取得所述视觉传感器的配置信息，所述显示部基于通过所述存储部存储的所述视觉传感器的形状信息以及通过所述第二取得部取得的所述视觉传感器的配置信息，显示所述视觉传感器。

[0008] 根据本发明的第二方式，提供一种机器人系统显示装置，其在第一方式中，所述视觉传感器与所述机器人的臂的动作联动，维持相对于该臂的相对配置关系地被固定在该臂上，所述显示部基于所述臂与所述视觉传感器之间的相对配置关系，对所述视觉传感器进行图形化显示。

[0009] 根据本发明的第三方式，提供一种机器人系统显示装置，其在第一或第二方式中，所述机器人系统还具备视觉目标夹具，所述第一取得部取得将所述机器人坐标系、所述视觉传感器坐标系和所述视觉目标夹具互相关联的校准数据，该机器人系统显示装置还具备基于所述校准数据取得所述视觉目标夹具的配置信息的第三取得部，所述显示部基于通过所述存储部存储的所述视觉目标夹具的形状信息以及通过所述第三取得部取得的所述视觉目标夹具的配置信息，对所述视觉目标夹具进行图形化显示。

[0010] 根据本发明的第四方式，提供一种机器人系统显示装置，其在第三方式中，所述视觉目标夹具与所述机器人的臂的动作联动，维持相对于该臂的相对配置关系地被固定在该臂上，所述显示部基于所述臂和所述视觉目标夹具之间的相对配置关系，对所述视觉目标夹具进行图形化显示。

[0011] 根据本发明的第五方式，提供一种机器人系统显示装置，其在第一至第四的任意一种方式中，通过所述存储部存储的所述机器人系统的所述构成要素的形状信息是3维形状信息。

[0012] 根据本发明的第六方式，提供一种机器人系统显示装置，其在第一至第五的任意一种方式中，该机器人系统显示装置具备控制所述视觉传感器的视觉传感器控制装置。

[0013] 根据本发明的第七方式，提供一种机器人系统显示装置，其在第一至第六的任意一种方式中，该机器人系统显示装置具备控制所述机器人的机器人控制装置。

[0014] 本发明的上述以及其它目的、特征以及优点，参照附图中表示的本发明的示例的实施方式的详细说明会更加明确。

附图说明

[0015] 图1是表示第一实施方式的机器人系统以及机器人系统的显示装置的结构的图。

[0016] 图2是第一实施方式的机器人系统以及机器人系统的显示装置的功能框图。

[0017] 图3是表示第二实施方式的机器人系统以及机器人系统的显示装置的结构的图。

[0018] 图4是表示第三实施方式的机器人系统以及机器人系统的显示装置的结构的图。

[0019] 图5是表示在第三实施方式中使用的视觉目标夹具的结构例的图。

[0020] 图6是第三实施方式的机器人系统以及机器人系统的显示装置的功能框图。

[0021] 图7是表示第四实施方式的机器人系统以及机器人系统的显示装置的结构的图。

[0022] 图8是第一变形例的机器人系统以及机器人系统的显示装置的功能框图。

[0023] 图9是第二变形例的机器人系统以及机器人系统的显示装置的功能框图。具体实施方式

[0024] 以下，参照附图说明本发明的实施方式。请注意为了帮助理解本发明，图示的实施方式的各构成要素有时将其比例尺从实际的形态进行了变更。

[0025] 图1是表示第一实施方式的机器人系统10以及机器人系统10的显示装置20的结构的图。机器人系统10具备：机器人12；控制机器人12的机器人控制装置14；用于操作机器人控制装置14的机器人操作盘16；对象物30；放置对象物30的工作台32；用于取得对象物30的图像的视觉传感器40；控制视觉传感器40的视觉传感器控制装置42；用于操作视觉传感器控制装置42的视觉传感器操作盘44；用于将视觉传感器40固定在预定位置的视觉传感器架台46。

[0026] 放置在工作台32上的对象物30未被定位，对象物30的位置不明。通过视觉传感器40的摄像机等摄像元件拍摄对象物30。然后，通过视觉传感器控制装置42对对象物30的图像进行图像处理，由此测量对象物30的位置。基于通过视觉传感器控制装置42测量出的对象物30的位置信息控制机器人12的动作。由此，机器人12可以根据对象物30的位置对对象物30执行必要的作业。

[0027] 机器人12是公知的任意机器人操纵装置（以下简称为“机器人”），不限于具有特定结构的机器人。在图示的实施方式中，在机器人12的臂的前端部配备有用于把持对象物30的机械手18，然而，也能够根据焊接以及涂装等其它用途采用各种末端执行器。

[0028] 视觉传感器40例如是具备工业用的CCD摄像机等摄像单元的公知的传感器。视觉传感器40为了取得对象物30的图像，以相对于工作台32配置成预定的位置关系的方式安装在视觉传感器架台46上。

[0029] 图2是图1的实施方式的机器人系统10以及机器人系统10的显示装置20的功能框图。机器人控制装置14是包含机器人控制部50的数字计算机。机器人控制部50生成控制机器人12的动作的指令并发送给机器人12。机器人操作盘16经由通信电缆与机器人控制装置14连接，用于操作机器人12。机器人操作盘16例如是具有按钮、键盘、鼠标、拨盘、触摸面板等的用户接口。

[0030] 视觉传感器控制装置42是包含图像处理部52、校准数据存储部54的数字计算机。图像处理部52以及校准数据存储部54相互间经由总线连接。视觉传感器操作盘44经由通信电缆与视觉传感器控制装置42连接，用于设定通过视觉传感器40测量对象物30的位置时所需要的各种条件。图像处理部52上连接了视觉传感器40。图像处理部52对通过视觉传感器40取得的图像数据进行处理，计算在图像中包含的对象物30的位置。校准数据存储部54存储作为校准结果而得到的校准数据以及与校准相关的数据。

[0031] 机器人控制装置14以及视觉传感器控制装置42通过通信电缆互相连接，互相进行数据的收发。通信方法可以是基于RS-232方式的通信方法，也可以是基于LAN方式的通信方法。另外，也可以不使用通信电缆而是基于无线LAN方式的通信方法。在机器人控制装置14和视觉传感器控制装置42之间收发的数据中，包含例如通过视觉传感器控制装置42测量的对象物30的位置信息、通过机器人控制装置14取得的机器人12的当前的位置信息等。

[0032] 显示装置20是包含形状配置信息存储部22、对机器人系统10的构成要素进行图形化显示的液晶显示器等显示部24、从校准数据存储部54读出取得校准数据的校准数据取得部26、取得视觉传感器40的配置信息的视觉传感器配置信息取得部28的数字计算机、例如个人计算机或工作站。显示装置20可以从视觉传感器控制装置42以及机器人控制装置14经由通信或记录介质取得必要的信息。例如通过显示装置20取得在视觉传感器控制装置42的校准数据存储部54中存储的校准数据、或通过机器人控制装置14取得的机器人12的当前的臂前端部的位置信息、或机器人12的各可动轴的角度信息。

[0033] 形状配置信息存储部22中存储机器人系统10的构成要素的形状信息以及配置信息。机器人系统10的构成要素中包含例如机器人12、视觉传感器40以及视觉传感器架台46等。形状信息可以如CAD数据那样包含构成要素的细致的形状数据，也可以通过立方体等简单模型概要地表现构成要素的位置以及姿势。各构成要素的形状信息可以用任意形态来表示。形状信息可以是2维形状信息或3维形状信息的任意一种。例如，对构成要素定义了成为基准的基准坐标系，在基准坐标系中描述用于确定构成要素的形状的顶点、线、面等。在这种情况下，从通用坐标系看到的各构成要素的基准坐标系的位置以及姿势可以作为各构成要素的配置信息被利用。

[0034] 针对机器人12，也与其它构成要素同样定义基准坐标系，在该基准坐标系中描述机器人12的形状信息。此外，机器人12通常具有多个可动轴，因此，机器人12的基准坐标系一般以机器人12的基端侧、即固定部为基准来定义。通过显示装置20显示的机器人12的形状（姿势），根据该时刻的各可动轴的角度来确定。

[0035] 作为用于描述机器人12的形状的基准坐标系，可以使用与成为机器人12的动作控制的基准的机器人坐标系相同的坐标系。以下，为了简化说明，说明这两个坐标系相同的情况。在这种情况下，求出机器人12的配置信息，作为机器人坐标系相对于通用坐标系的相对位置。在仅具备单一机器人12的机器人系统10中，可以将机器人坐标系定义为通用坐标系。在这种情况下，机器人12的位置与通用坐标系的原点位置对应。

[0036] 各构成要素的形状信息以及配置信息，可以用显示装置20读出利用CAD系统或离线编程系统预先生成的信息来得到，也可以通过显示装置20直接生成。在任意一种情况下都可以将得到的各构成要素的形状信息以及配置信息存储在显示装置20的形状配置信息存储部22中。

[0037] 显示装置20的显示部24基于在形状配置信息存储部22中存储的机器人系统10的构成要素的形状信息以及各构成要素的配置信息，例如将机器人12、机械手18、工作台32、对象物30以及视觉传感器架台46等机器人系统10的构成要素在虚拟的3维空间中图形化显示。

[0038] 此外，在形状配置信息存储部22中存储了视觉传感器40的形状信息，但是未存储视觉传感器40的配置信息。在本实施方式中，视觉传感器40的配置信息通过后述方法基于视觉传感器40的校准数据而算出。因此，在视觉传感器40的校准完成之前，在通过显示部24显示的图像中不包含视觉传感器40。

[0039] 在视觉传感器控制装置42的校准数据存储部54中，存储将成为机器人12的动作控制的基准的机器人坐标系、与成为视觉传感器40的测量处理的基准的视觉传感器坐标系互相关联的校准数据。

[0040] 针对校准数据的形式以及取得校准数据的具体方式提出了各种技术，在与本发明的关系中不限定为特定的形态。针对摄像机的校准方法，例如记载在“Roger Y.Tsai,“An efficient and accurate camera calibration technique for3dmachine vision”,Proc.Computer Vision and Pattern Recognition’86,pp.368-374,1986”中。

[0041] 一般在视觉传感器的校准数据中包含外部参数以及内部参数。外部参数是与视觉传感器的物理位置以及姿势相关的信息，例如可以表示为视觉传感器坐标系相对于机器人坐标系的相对配置信息。另一方面，内部参数是与镜头的焦距、镜头失真、受光元件的尺寸等视觉传感器的光学系统的条件相关的信息。

[0042] 在视觉传感器中，也与其它构成要素同样地定义了成为用于描述视觉传感器的形状的基准的基准坐标系。但是，成为视觉传感器的测量处理的基准的视觉传感器坐标系，可以与用于表示视觉传感器的形状的基准坐标系相同。在这种情况下，在校准数据中包含的外部参数，被用作视觉传感器的配置信息。另一方面，在视觉传感器的基准坐标系以及视觉传感器坐标系不相同时，由于对视觉传感器定义的基准坐标系和视觉传感器坐标系之间的相对关系已知，因此可以基于校准数据中包含的外部参数和两个坐标系间的相对关系，计算得出视觉传感器的配置信息。视觉传感器的基准坐标系和视觉传感器坐标系之间的相对关系，可以表现为视觉传感器的基准坐标系中的视觉传感器坐标系的位置以及姿态，作为视觉传感器的形状信息的一部分，存储在形状配置信息存储部22中。

[0043] 基于这样求出的视觉传感器40的配置信息、和在形状配置信息存储部22中预先存储的视觉传感器40的形状信息，显示装置20的显示部24在虚拟的3维空间内图形化显示视觉传感器40。

[0044] 在恰当地执行了视觉传感器的校准的情况下，在显示部显示的视觉传感器相对于其它构成要素、例如视觉传感器架台被显示在正确的位置。与此相对，在未恰当地进行视觉传感器的校准的情况下，视觉传感器被显示在与实际不同的位置。这样，根据本实施方式的机器人系统的显示装置，基于在显示部显示的图形化的信息，操作者可以容易地确认是否恰当地执行了视觉传感器的校准。另外，在利用JP-A-2005-135278中公开的那样的离线仿真装置的情况下，通过读出并使用通过本实施方式的显示装置确认为恰当的校准数据，得到可靠性高的仿真结果。

[0045] 接着，说明与前面所述的实施方式不同的本发明的其它实施方式。在以下的说明中，针对与已经描述的内容相同的事项适当省略说明。另外，对于相同或对应的构成要素，使用相同的参照符号。

[0046] 图3是表示第二实施方式的机器人系统60以及机器人系统60的显示装置20的结构的图。图3所示的机器人系统60的结构与第一实施方式的机器人系统10的结构大致相同，而不同点在于视觉传感器40未安装在视觉传感器架台46上，而是经由桁架62安装在机器人12的臂前端部。即，当使机器人12动作时，视觉传感器40与机器人12的臂的动作联动。由此，维持视觉传感器40和机器人12的臂前端部之间的相对位置关系。

[0047] 在本实施方式中，在使机器人12在任意位置静止的状态下执行视觉传感器40的校准。为了便于说明，将执行校准时的机器人12的机器人坐标系中的臂前端部的位置设为Q1。Q1是4×4的同阶变换矩阵，在机器人坐标系中进行了描述。

[0048] 若机器人12在执行视觉传感器40的校准后也维持静止，则通过与第一实施方式同样的方法得到视觉传感器40的配置信息。但是，在本实施方式中，随着机器人12的动作，视觉传感器40的位置以及姿势也变化。因此，需要再次取得视觉传感器40的位置以及姿势变化后的视觉传感器40的配置信息。

[0049] 因此，在本实施方式中，执行了校准时的臂前端部的位置Q1作为校准数据的一部分存储在校准数据存储部54中。若将根据在臂前端部的位置Q1求出的校准数据求出的视觉传感器40的配置信息设为P1，将当前的机器人12的臂前端部的位置设为Q2，将当前的视觉传感器40的配置信息设为P2时，由于臂前端部的移动量与视觉传感器40的移动量相等，因此，在Q1、Q2、P1以及P2之间，以下的式（1）的关系成立。此外，位置Q2、P1以及P2与Q1同样是4×4的同阶变换矩阵，在机器人坐标系中进行了描述。

[0050] Q2·Q1-1＝P2·P1-1 （1）

[0051] 在此，根据校准数据求出Q1以及P1。另外，当前的机器人12的臂前端部的位置Q2可以从机器人控制装置14取得。因此，按照以下的式（2）求出当前的视觉传感器40的配置信息P2。

[0052] P2＝Q2·Q1-1·P1 （2）

[0053] 然后，基于通过式（2）求出的当前的视觉传感器40的配置信息P2，在机器人系统显示装置20的显示部24上再显示视觉传感器40。

[0054] 所述的例子是对机器人坐标系执行视觉传感器的校准的情况，即校准数据的外部参数表示视觉传感器坐标系相对于机器人坐标系的相对位置的情况。但是，在机器人的臂前端部安装视觉传感器的情况下，也可以对在机器人的臂前端部固定的坐标系（以下称为“指尖坐标系”）执行视觉传感器的校准。在这种情况下，校准数据的外部参数表示将指尖坐标系和视觉传感器坐标系互相关联的数据。并且，如下那样求出当前的视觉传感器的配置信息。

[0055] 将用指尖坐标系表现的视觉传感器40的配置信息设为Pt。Pt与Q2同样是4×4的同阶变换矩阵。根据在校准数据存储部54中存储的校准数据求出Pt。另外，当前的机器人12的臂前端部的位置Q2可以从机器人控制装置14取得。因此，通过以下的式（3）求出从当前的通用坐标系、例如机器人坐标系看到的视觉传感器40的配置信息P2。

[0056] P2＝Q2·Pt （3）

[0057] 图4是表示第三实施方式的机器人系统70以及机器人系统70的显示装置20的结构的图。在本实施方式中使用视觉目标夹具72校准视觉传感器40。并且，在显示装置20的显示部24中还显示视觉目标夹具72。

[0058] 使用视觉目标夹具72的视觉传感器40的校准方法如JP-A-4-35885所公开的那样是公知的。因此，在本说明书中省略校准方法本身的详细说明。

[0059] 图5是表示在本实施方式中使用的视觉目标夹具72的结构例的图。在视觉目标夹具72上，作为可由视觉传感器40识别的图案，设置了图5所示那样的点图案。点图案76由格子状配置的大小的点76a、76b（圆）构成。尺寸大的4个点76a被配置成L字状，表示视觉目标夹具72的坐标系（以下称为“视觉目标夹具坐标系”）。具体来说，位于视觉目标夹具72的一个角部的尺寸大的点76a的中心是视觉目标夹具坐标系的原点，排列尺寸大的3个点76a的方向表示X轴方向，排列尺寸大的2个点76a的方向表示Y轴方向，视觉目标夹具72的表面的铅直方向上侧表示Z轴方向。

[0060] 视觉目标夹具72的形状信息与其它构成要素同样，是在对视觉目标夹具72赋予的基准坐标系中描述的信息，存储在显示装置20的形状配置信息存储部22中。另一方面，视觉目标夹具72的配置信息未存储在形状配置信息存储部22中，根据本发明，基于视觉传感器40的校准数据通过后述的方法来计算。因此，在视觉传感器40的校准完成以前，在通过显示装置20的显示部24显示的图像中不包含视觉目标夹具72。

[0061] 为了使用视觉目标夹具72对视觉传感器40进行校准，需要预先设定在使用的视觉夹具72上形成的点图案76的尺寸信息、例如点76a、76b的间隔、以及视觉目标夹具72的设置信息、即视觉目标夹具72的位置以及姿势。

[0062] 关于点图案76的尺寸信息，根据在视觉目标夹具72上形成点图案76时使用的设计图等而已知。点图案76的尺寸信息作为校准数据的一部分，存储在校准数据存储部54中。

[0063] 在本实施方式中，视觉目标夹具72以点图案76朝向视觉传感器40的方向被固定在工作台32上。视觉目标夹具72的设置信息被表示为视觉目标夹具坐标系相对于成为机器人12的动作控制的基准的机器人坐标系的相对位置。所设定的视觉目标夹具72的设置信息作为校准数据的一部分，被存储在校准数据存储部54中。

[0064] 成为表示视觉目标夹具72的形状的基准的视觉目标夹具72的基准坐标系与视觉目标夹具坐标系之间的相对位置关系是已知的，作为视觉目标夹具72的形状信息的一部分，存储在形状配置信息存储部22中。因此，根据在校准数据存储部54中存储的视觉目标夹具72的设置信息、和视觉目标夹具72的基准坐标系以及视觉目标夹具坐标系的相对位置关系，计算视觉目标夹具72的配置信息、即机器人坐标系中的视觉目标夹具72的位置信息。

[0065] 然后，机器人系统70的显示装置20基于得到的视觉目标夹具72的配置信息、在形状配置信息存储部22中存储的视觉目标夹具72的形状信息，在虚拟的3维空间内图形化显示视觉目标夹具72。

[0066] 图6是第三实施方式的机器人系统70以及机器人系统的显示装置20的功能框图。本实施方式中的功能框图与第一实施方式中的大致相同，不同点在于显示装置20具备取得视觉目标夹具72的配置信息的视觉目标夹具配置信息取得部74。

[0067] 在本实施方式中说明了对固定在视觉传感器架台上的视觉传感器进行校准的方法，但是也可以为了校准在机器人的臂前端部固定的视觉传感器而使用视觉目标夹具。在这种情况下，视觉传感器按照第二实施方式被图形化显示，视觉目标夹具按照第三实施方式被图形化显示。

[0068] 图7是表示第四实施方式的机器人系统80以及机器人系统80的显示装置20的结构的图。图7所示的机器人系统80的结构与第三实施方式关联说明的机器人系统70大致相同，而不同点在于视觉目标夹具72未设置在工作台32上，而是经由桁架62设置在机器人12的臂前端部。即，视觉目标夹具72与机器人12的臂的动作联动，维持与机器人12的臂前端部之间的相对位置。另外，移动机器人12的臂前端部，使得可以通过视觉传感器40拍摄视觉目标夹具72的点图案76。

[0069] 在将视觉目标夹具72设置在机器人12的臂前端部的情况下，视觉目标夹具坐标系相对于指尖坐标系的相对的位置被设定为视觉目标夹具72的设置信息。即，存储在校准数据存储部54中的视觉目标夹具72的设置信息，成为指尖坐标系中的视觉目标夹具72的位置信息。

[0070] 机器人坐标系中的视觉目标夹具72的设置信息随着机器人的臂前端部移动而变化。若将当前的机器人的位置、即指尖坐标系相对于机器人坐标系的相对位置设为Q3，将存储在校准数据存储部54中的指尖坐标系中的视觉目标夹具72的位置信息设为Pj，则通过以下的式（4）求出从机器人坐标系看到的当前的视觉目标夹具72的设置信息P3。

[0071] P3＝Q3·Pj（4）

[0072] 然后，机器人系统80的显示装置20，基于机器人坐标系中的当前的视觉目标夹具72的设置信息P3、存储在形状配置信息存储部22中的视觉目标夹具72的形状信息，在虚拟的3维空间内图形化显示视觉目标夹具72。

[0073] 图8是第一变形例的机器人系统以及机器人系统的显示装置20的功能框图。在本变形例中，机器人系统的显示装置20具备视觉传感器控制装置42的功能。即，显示装置20是包含形状配置信息存储部22、显示部24、校准数据取得部26、视觉传感器配置信息取得部28、视觉传感器控制部42’的数字计算机。显示装置20的各构成要素相互间通过总线连接。视觉传感器控制部42’还具备图像处理部52、校准数据存储部54。校准数据存储部
54以及形状配置信息存储部22被形成为1个存储部。

[0074] 视觉传感器操作盘44经由通信电缆与显示装置20的视觉传感器控制部42’连接。操作者可以操作视觉传感器操作盘44来进行为了通过视觉传感器40测量对象物30而需要的设定。另外，在一个实施方式中，视觉传感器操作盘44可以作为液晶显示器等显示部
24来工作。

[0075] 图9是第二变形例的机器人系统和机器人系统的显示装置的功能框图。在本变形例中，显示装置20内置有机器人控制装置14的功能。而且，显示装置20也内置有视觉传感器控制装置42的功能。即，显示装置20是包含形状配置信息存储部22、显示部24、校准数据取得部26、视觉传感器配置信息取得部28、机器人控制部50、视觉传感器控制部42’的数字计算机。显示装置20的各构成要素相互间通过总线连接。

[0076] 机器人操作盘16经由通信电缆与显示装置20的机器人控制部50连接。操作者可以操作机器人操作盘16来使机器人12动作，并且为了通过内置于显示装置20中的图像处理部52处理对象物30的摄像数据而进行必要的设定。在一个实施方式中，机器人操作盘16也可以内置由液晶显示器等构成的显示部24。另外，机器人操作盘16和视觉传感器操作盘44可以形成为一个操作盘。

[0077] 发明的效果

[0078] 具备上述结构的机器人系统显示装置，在校准数据中包含错误的情况下，以与实际不同的位置或姿势对视觉传感器进行图形显示。由此，操作者能够在视觉上容易地确认校准数据是否错误。

[0079] 所述的实施方式以及变形例是用于理解本发明的例子，即使是本说明书中未明确表示的实施方式，只要整体上具有相同功能，当然也包含在本发明的范围内。另外，本领域技术人员明白，通过将本说明书中明示或暗示地公开的多个实施方式的特征进行任意组合也可以实施本发明。

[0080] 另外，使用本发明的示例的实施方式图示、说明了本发明，但是本领域技术人员应该理解，在不脱离本发明的主旨以及范围的情况下能够进行各种变更、省略、追加。