校正作业支援系统

摘要

本发明的校正作业支援系统具有：用于输入机械信息的输入装置，该机械信息包括液压挖掘机的车辆类别信息和前作业机的规格信息；显示控制装置，其基于从输入装置输入的机械信息和预先决定的目标姿势信息来生成目标姿势图像，该目标姿势信息是作为对惯性计测装置进行校正时的前作业机的目标计测姿势而预先决定的，该目标姿势图像是以驾驶员(M)的视点位置以及视线方向对采取了目标计测姿势的前作业机进行观察的情况下的图像；和HMD，其显示由显示控制装置生成的目标姿势图像，HMD以使目标姿势图像与以驾驶员(M)的视点位置以及视线方向观察到的现实中的前作业机重叠的方式进行显示。

权利要求

1.一种校正作业支援系统，其对安装在作业机械所具备的作业装置上的惯性计测装置的校正作业进行支援，其特征在于，具有：用于输入机械信息的输入装置，该机械信息包括所述作业机械的车辆类别信息和所述作业装置的规格信息；

控制装置，其基于从所述输入装置输入的所述机械信息和预先决定的目标姿势信息来生成目标姿势图像，该目标姿势信息是作为对所述惯性计测装置进行校正时的所述作业装置的目标计测姿势而预先决定的，该目标姿势图像是从规定的视点位置以规定的视线方向对采取了所述目标计测姿势的所述作业装置进行观察的情况下的图像；和显示装置，其显示由所述控制装置生成的所述目标姿势图像，所述显示装置构成为，能够使所述目标姿势图像与从所述规定的视点位置以所述规定的视线方向观察到的现实中的所述作业装置重叠。

2.根据权利要求1所述的校正作业支援系统，其特征在于，所述显示装置是配置在搭乘于所述作业机械的驾驶者的前方的透视型显示器，所述规定的视点位置以及所述规定的视线方向是所述驾驶者的视点位置以及视线方向，

所述校正作业支援系统还具有计测所述驾驶者的视点位置以及视线方向的计测装置，所述控制装置基于从所述输入装置输入的所述机械信息、所述目标姿势信息、和由所述计测装置计测出的所述驾驶者的视点位置以及视线方向，生成以所述驾驶者的视点位置以及视线方向对采取了所述目标计测姿势的所述作业装置进行观察时的目标姿势图像来作为所述目标姿势图像。

3.根据权利要求2所述的校正作业支援系统，其特征在于，所述显示装置是供搭乘于所述作业机械的驾驶者佩戴的透视型的头戴式显示器，所述计测装置是搭载于所述头戴式显示器的摄像头，且是对设置于所述作业机械的驾驶室的前方的二维标识进行拍摄的摄像头，所述控制装置基于所述摄像头的内部参数、和所述摄像头的拍摄图像中的所述二维标识的形状来运算所述驾驶者的视点位置以及视线方向。

4.根据权利要求1所述的校正作业支援系统，其特征在于，所述规定的视点位置以及所述规定的视线方向是安装于所述作业机械的摄像头的安装位置以及光轴方向，

所述控制装置基于从所述输入装置输入的所述机械信息、所述目标姿势信息、和所述摄像头的安装位置以及光轴方向，生成由所述摄像头对采取了所述目标计测姿势的所述作业装置进行观察时的目标姿势图像来作为所述目标姿势图像，所述显示装置是配置在搭乘于所述作业机械的驾驶者的前方的显示器，将由所述摄像头拍摄到的所述现实中的作业装置与所述目标姿势图像重叠显示。

说明书

校正作业支援系统

技术领域

[0001] 本发明涉及对安装在作业机械所具备的作业装置上的惯性计测装置的校正作业进行支援的校正作业支援系统。

背景技术

[0002] 液压挖掘机是代表性的作业机械，作为作业装置而具有多关节型的前作业机。作为向驾驶者提示该前作业机的姿势并对由液压挖掘机进行的挖掘作业进行支援的显示系
统而具有机械导引(Machine Guidance)。为了实现正确的机械导引，而需要正确检测前作
业机的姿势。

[0003] 作为关于前作业机的姿势检测的技术，在专利文献1中公开了一种液压缸的行程前期校正作业支援装置，该装置具有：计测液压缸的行程距离的行程传感器；计测重设基准
点的重设传感器，该重设基准点是将由行程传感器执行的行程距离的计测值重设的基准
点；检测液压缸的行程结束位置的行程结束检测处理部；在检测到重设基准点及/或行程结
束位置的情况下对行程距离的计测值进行校正(修正)的校正处理部；在进行液压缸的前期
校正作业的情况下进行搭载有液压缸的作业机械整体的显示的监视器；和对用于使校正对
象的液压缸驱动的可动部进行突出显示并且显示驱动方向的突出显示处理部。

[0004] 现有技术文献

[0005] 专利文献

[0006] 专利文献1：国际公开2014/167731号公报

发明内容

[0007] 近几年，作为机械导引中的前作业机的姿势计测机构而利用了IMU(Inertial Measurement Unit)。IMU是由陀螺传感器和加速度传感器构成的惯性计测装置，通过使这
两种传感器组合来实现高精度且高应答的姿势计测。IMU设置于液压挖掘机的车身以及前
作业机的各部位(动臂、斗杆、铲斗等)的表面，事前校正IMU的安装位置以及安装角度，由此
计测前作业机的姿势。也就是说，在校正作业未实施的情况下，无法向驾驶者提示前作业机
的姿势信息。

[0008] 在此，IMU的校正作业是指，使安装在前作业机的各部位的IMU所计测的计测值与实际中的前作业机的姿势匹配的作业。具体地，使前作业机在某个姿势(目标计测姿势)中
停止，由全站仪等的高精度的测量设备来计测此时的IMU的计测值、和各部位的转动部(动
臂销、斗杆销、铲斗连杆销等)的位置坐标，使机械导引控制器学习这两个计测值。此时，为
了提高校正作业的精度，在多个姿势中实施计测值的学习。另外，为了抑制每个量产机的精
度偏差，由作业工序说明书等规定了校正作业中的计测姿势以及计测次数。

[0009] 但是，由于机体的车辆类别和规格多种多样，所以在驾驶室内操作前作业机的驾驶者难以将前作业机移动为特定的姿势。因为在机械导引中使用各种视点来提示前作业机
的姿势信息，所以可知难以从驾驶者的视点(从驾驶室观察到的前作业机的样子)掌握前作
业机的姿势。因此，以往，从驾驶室外直接视觉观察前作业机的姿势，来确认是否处于正确
姿势。由此，产生了与校正作业无直接关系的、从驾驶室外确认姿势的多余作业，由此作业
性不高。

[0010] 上述专利文献1中，提示了关于液压缸内置型的行程传感器的校正作业的操作支援信息。具体地，提示要动作的部位(可动部)和其方向(驱动方向)，由设在液压缸的行程结
束处的检测装置来检测行程的动作，报告校正作业的完成。在使用行程传感器的情况下，通
过使用专利文献1的发明，即使不是熟练者也能够高效实施校正作业。

[0011] 但是，在作为前作业机的姿势计测机构而使用IMU的情况下，无法使用作为该姿势计测机构而利用行程传感器的专利文献1的技术。这是因为，由于专利文献1的行程传感器
内置于液压缸，所以虽然预先确定了传感器的安装姿势，但IMU的安装姿势不明，需要在校
正作业内进行安装姿势的校正。由此，无法如专利文献1那样地检测液压缸的行程结束来判
断校正作业的结束。另外，在IMU的校正作业中，需要采取若干个计测姿势，在专利文献1的
支援信息(可动部和其驱动方向)中，驾驶者无法判断前作业机是否处于正确的计测姿势。

[0012] 本发明的目的为，提供一种能够使在驾驶室内进行操作的驾驶者容易判断IMU的校正作业中的作业装置的姿势是否与目标计测姿势一致的校正作业支援系统。

[0013] 本申请包括多个解决上述课题的方案，若举出一例，则为一种校正作业支援系统，其对安装在作业机械所具备的作业装置上的惯性计测装置的校正作业进行支援，其中，该
校正作业支援系统具有：用于输入机械信息的输入装置，该机械信息包括所述作业机械的
车辆类别信息和所述作业装置的规格信息；控制装置，其基于从所述输入装置输入的所述
机械信息和预先决定的目标姿势信息来生成目标姿势图像，该目标姿势信息是作为对所述
惯性计测装置进行校正时的所述作业装置的目标计测姿势而预先决定的，该目标姿势图像
是从规定的视点位置以规定的视线方向对采取了所述目标计测姿势的所述作业装置进行
观察的情况下的图像；和显示装置，其显示由所述控制装置生成的所述目标姿势图像，所述
显示装置构成为，能够使所述目标姿势图像与从所述规定的视点位置以所述规定的视线方
向观察到的现实中的所述作业装置重叠。

[0014] 发明效果

[0015] 根据本发明，省略了IMU的校正作业中的通过视觉观察进行的姿势确认作业，因此能够提高校正作业的效率。

附图说明

[0016] 图1是本发明的实施方式的液压挖掘机的构成图。

[0017] 图2是本发明的实施方式的驾驶室7内的概观图。

[0018] 图3是本发明的实施方式的头戴式显示器的硬件构成图。

[0019] 图4是本发明的实施方式的输入装置的硬件构成图。

[0020] 图5是本发明的实施方式的校正作业支援系统的功能框图。

[0021] 图6是基于头戴式显示器的显示控制装置执行的目标姿势图像生成流程图。

[0022] 图7是本发明的实施方式的输入装置的输入画面的布局构成图。

[0023] 图8是表示本发明的实施方式的校正作业支援系统对驾驶者进行提示的支援图像的一例的图。

[0024] 图9是表示本发明的实施方式的前侧部件的模型坐标系与前作业机的前坐标系之间的关系的图。

[0025] 图10是表示本发明的实施方式的动臂根部销位置与标识位置之间的位置关系的图。

[0026] 图11是对于本发明的实施方式的惯性计测装置S1、S2、S3的校正作业所必需的系统的概略构成图。

[0027] 图12是本发明的实施方式的控制器执行的校正作业处理的流程图。

[0028] 图13是表示本发明的实施方式的前作业机的各前侧部件上安装的标识的位置的图。

[0029] 图14是表示本发明的实施方式的变形例的显示装置的安装位置的图。

[0030] 图15是表示本发明的实施方式的变形例的校正作业支援系统向驾驶者进行提示的支援图像的一例的图。

具体实施方式

[0031] 以下，使用附图来说明本发明的实施方式。

[0032] 此外，以下，作为作业机械例举了作为作业装置的顶端的作业工具(附件)而具有铲斗的液压挖掘机，但也可以适用于具有铲斗以外的附件的作业机械。另外，只要是具有能
够在姿势检测中利用IMU的作业装置的作业机械，也能够适用于液压挖掘机以外的作业机
械。

[0033] (整体构成)

[0034] 图1是本发明的实施方式的液压挖掘机的侧视图。此外，将图中的左称为前，将右称为后，将从纸面的近前朝向里侧的方向称为右，将从该里侧朝向近前的方向称为左。如该
图所示，液压挖掘机(作业机械)1具有下部行驶体1e、和在该下部行驶体1e的上侧能够旋转
地安装的上部旋转体1B。

[0035] 上部旋转体1B具有：成为基座的旋转车架10；配置于该旋转车架10的前方左侧的驾驶室7；能够沿上下方向转动地安装于旋转车架10的前方中央的前作业机(作业装置)1A；
配置于旋转车架10后方的配重6；和设置在前作业机1A与配重6间的发动机舱1d。

[0036] 前作业机(作业装置)1A是将沿垂直方向分别转动的多个前侧部件(动臂1a、斗杆1b以及铲斗1c)连结而构成的。动臂1a的基端在上部旋转体1B的前部经由动臂销能够转动
地支承。在动臂1a的顶端经由斗杆销能够转动地连结有斗杆1b的基端，在斗杆1b的顶端经
由铲斗销能够转动地连结有铲斗1c的基端。动臂1a由动臂液压缸3a驱动，斗杆1b由斗杆液
压缸3b驱动，铲斗1c由铲斗液压缸3c驱动。

[0037] 该前作业机1A由搭乘于驾驶室7的驾驶者M操作。配重6用于取得与前作业机1A的重量平衡，能够由具有例如大致圆弧状的水平截面的重量物形成。

[0038] 另外，在前作业机1A的各前侧部件(动臂1a、斗杆1b、铲斗1c)的侧面安装有作为用于计测各部件姿势的姿势计测装置的惯性计测装置(IMU)S1～S3。

[0039] 图2是驾驶室7内的概观图。此外，对于与之前的图相同的部分标注相同的附图标记，有时省略相同部分的说明(在随后的图中也是同样)。如图2所示，在驾驶室7设有供驾驶
者M落座的驾驶席7A、和作为操作装置的四根操作杆7a1～7a4，该操作装置对包括各液压执
行机构3a～3c的动作的车身动作进行指示。

[0040] 操作杆7a1(左操作杆)用于操作斗杆液压缸3b(斗杆1b)以及上部旋转体1B(旋转液压马达(未图示))，操作杆7a2(右操作杆)用于操作动臂液压缸3a(动臂1a)以及铲斗液压
缸3c(铲斗1c)。另外，操作杆7a3(左行驶杆)用于操作下部行驶体1e(左行驶液压马达(未图
示))，操作杆7a4(右行驶杆)用于操作下部行驶体1e(右行驶液压马达(未图示))。

[0041] 驾驶室7由多根支柱16支承，在前侧的两根支柱16之间埋入有前玻璃(前窗)13。另外，在设置于驾驶室7前方的前玻璃13上安装有二维标识7b，从落座于驾驶席7A的驾驶者M
来看，在右侧的支柱16上安装有触摸面板式的输入装置15。在输入装置15中，能够输入液压
挖掘机1的车辆类别信息、前作业机1A的规格信息、用于确定校正作业的对象的作业项目信
息、和用于由各前侧部件1a、1b、1c的旋转角确定目标计测姿势的作业工序信息(也称为目
标姿势信息)。此外，输入装置15也可以兼做显示装置。

[0042] 在搭乘于液压挖掘机1并落座于驾驶席7A的驾驶者M的头部，佩戴着头戴式显示器(以下HMD)17来作为具有配置于驾驶者M的前方的透视型显示器(半透镜17G)的显示装置。

[0043] 图3是HMD17的硬件构成图。如图3所示，HMD17具有：作为计测装置的摄像头17A，其通过拍摄二维标识7b来计测驾驶者M的视点位置以及视线方向；生成目标姿势图像(也称支
援图像)的显示控制装置17B，该目标姿势图像是从驾驶者M的视点位置在驾驶者M的视线方
向上对采取了目标计测姿势的前作业机1A进行观察的情况下的图像；输出由显示控制装置
17B生成的目标姿势图像的投影仪17E；将从投影仪17E输出的目标姿势图像放大缩小的镜
头17F；和供从镜头17F通过的目标姿势图像投影的作为透视型显示器的半透镜17G。半透镜
17G作为显示目标姿势图像的显示装置发挥功能，另一方面构成为，通过其透视性而能够使
目标姿势图像与在驾驶者M的视点位置以及视线方向上观察到的现实中的前作业机1A重
叠。

[0044] 摄像头17A搭载于HMD17的主体，位置以及光轴方向与驾驶者M的头部的动作配合地变化。半透镜17G配置于佩戴着HMD17的驾驶者M的眼睛前方并成为兼具透视性和反射性
的构造，由此驾驶者M能够同时视觉确认投影于半透镜17G上的目标姿势图像和前方的现实
景象(也包括现实中的前作业机1A)。显示控制装置17B具有运算装置17C(例如CPU)、记忆装
置17D(例如ROM、RAM等半导体存储器)、通信接口(I/F)17H和输入输出I/F17J。在记忆装置
17D中，针对每个前侧部件，与后述的机械信息建立对应关系地预先记忆有成为目标姿势图
像的基准的前作业机1A的模型数据，在此基础上，还记忆有摄像头17A的内部参数和二维标
识7b的图案文件。另外，HMD17经由通信I/F17H与网络连接，能够与输入装置15进行数据通
信。

[0045] 图4是输入装置15的硬件构成图。如该图所示，输入装置15具有显示器(显示装置)15A、贴附于显示器15A的上表面的触摸面板(位置输入装置)15B、控制显示器15A以及触摸
面板15B的输入控制装置15G。输入控制装置15G与显示控制装置17B同样地，具有运算装置
15C(例如CPU)、记忆装置15D(例如ROM、RAM等半导体存储器)、通信I/F15H、和输入输出I/
F15J。

[0046] 图5是本发明的实施方式的校正作业支援系统的功能框图。HMD17的显示控制装置17B利用由驾驶者M向输入装置15的显示器15A(触摸面板15B)输入的信息(后述的机械信息
和作业信息(参照图7))，由运算装置17C执行记忆装置17D内所记忆的程序，由此作为图5所
示的各部分发挥功能。

[0047] 图7是表示在输入装置15的显示器15A中显示的机械信息输入画面(a)、作业内容输入画面(b)和作业工序输入画面(c)的图。

[0048] 在机械信息输入画面(a)中设有机械信息输入部15a，其从驾驶者M受理包括液压挖掘机1的车辆类别信息、和前作业机1A的各部分的规格信息(例如作为动臂的规格而具有
标准动臂、两节式动臂、高扬程动臂等)在内的“机械信息”的输入。图7的例构成为，车辆类
别信息和各部分的规格信息供驾驶者M从下拉菜单选择。

[0049] 在作业内容输入画面(b)和作业工序输入画面(c)中设有作业信息输入部15b，其从驾驶者M受理分别对惯性计测装置S1、S2、S3进行校正时的“作业信息”的输入。作业内容
输入画面(b)的作业信息输入部15b中输出有“作业信息”中的作业项目的信息(“作业项目
信息”是规定将安装有惯性计测装置的多个前侧部件(动臂、斗杆、附件(铲斗))中的哪个前
侧部件设为姿势计测的对象、即校正作业的对象的信息)，作业工序输入画面(c)作业信息
输入部15b中输入有“作业信息”中的作业工序的信息(“作业工序信息”是当对由作业项目
选择的前侧部件上的惯性计测装置进行校正时作为前作业机1A的目标计测姿势而预先决
定的信息)。图7的例中，作业项目的信息(成为姿势计测的对象的前侧部件)以供驾驶者M从
下拉菜单选择的方式构成。作业工序的信息可以按预先决定的工序自动显示预先设定的多
个计测姿势，也可以由驾驶者M手动输入各前侧部件的角度来采取多个目标计测姿势。

[0050] 通过驾驶者M分别从输入画面(a)、(b)、(c)输入的机械信息和作业信息经由网络向HMD17发送。

[0051] 图5中，显示控制装置17B具有：基于由输入装置15输入的机械信息将与该对象机械对应的前作业机1A的模型数据从模型数据记忆部17g选择出的模型选择部17a；基于由输
入装置15输入的机械信息以及作业信息、和记忆在标识位置信息记忆部17j内的标识7b的
安装位置信息来转换模型数据的坐标的模型坐标转换部17b；基于从输入装置15输入的机
械信息以及作业信息(作业信息中包括目标计测姿势)、和根据摄像头17A的姿势算出的驾
驶者M的视点位置以及视线方向来生成从驾驶者M对采取了目标计测姿势的前作业机1A进
行观察的情况下的图像(目标姿势图像)的目标姿势图像生成部17c；将由目标姿势图像生
成部17c生成的目标姿势图像向半透镜17G投影的显示控制部17d；基于从标识信息记忆部
17h读取的包括标识7b的形状和大小的信息而从摄像头17A的拍摄图像中检测标识7b的标
识检测部17e；基于标识检测部17e检测到的标识7b的形状及大小、和记忆在内部参数记忆
部17i内的摄像头17A的内部参数来计算摄像头17A的位置和姿势(摄像头17A的外部参数)
的摄像头姿势推定部17f；记忆有与车辆类别和规格匹配的多个前作业机1A的模型数据的
模型数据记忆部17g；记忆有包括标识7b的形状和大小的信息的标识信息记忆部17h；记忆
有摄像头17A的内部参数(例如焦点距离和光学中心)的内部参数记忆部17i；和记忆有驾驶
室7内的标识7b的安装位置信息(例如以动臂1a的根部销(动臂销)的位置为基准的位置)的
标识位置信息记忆部17j。

[0052] (由HMD17的显示控制装置17B执行的目标姿势图像生成流程图)

[0053] 边参照图6边说明由HMD17的显示控制装置17B执行的生成目标姿势图像的方法。图6是由HMD17的显示控制装置17B执行的目标姿势图像生成流程图。显示控制装置17B以来
自驾驶者M的校正作业的开始指示的输入为触发而执行图6的流程并将目标姿势图像向半
透镜17G投影。

[0054] 显示控制装置17B当从输入装置15输入了来自驾驶者M的校正作业的开始指示后，开始图6的流程，进行机械信息的获取(S101)和作业信息的获取(S102)。驾驶者M向输入装
置15的机械信息输入部15a输入的信息作为S101的机械信息而输入至输入显示控制装置
17B。在机械信息中包括成为校正作业的对象的机械(以下称对象机械)的车辆类别、和构成
前作业机1A的各前侧部件(动臂1a、斗杆1b、铲斗1c)的规格。与机械信息同样地，驾驶者M向
输入装置15的作业信息输入部15b输入的信息作为S102的作业信息而输入至显示控制装置
17B。作业信息中包括校正作业的作业项目(校正对象的安装有惯性计测装置的前侧部件)、
和该作业项目的作业工序(为了对校正对象进行校正而前作业机1A应该采取的目标计测姿
势)。

[0055] S103中，模型选择部17a基于由S101获取的机械信息从模型数据记忆部17g读取与对象机械对应的模型数据。如上所述，模型数据预先与机械信息建立了关联地记忆于模型
数据记忆部17g。模型数据以前侧部件(部位)为单位而记忆有动臂1a、斗杆1b、铲斗1c等，对
应于标准动臂、两节式动臂等多种规格。也就是说，模型选择部17a读取与所输入的车辆类
别、规格对应的模型数据。

[0056] (从模型坐标系向前模型坐标系的转换)

[0057] S104中，模型坐标转换部17b基于机械信息和作业信息，将由S103读取的各部位的模型数据从各部位的模型坐标系向前模型坐标系进行坐标转换，生成采取了基于作业项目
以及作业工序规定的恰当的目标计测姿势的前作业机1A整体的模型数据(以下，称为前模
型数据)。

[0058] 参照图9来详细说明S104的向前模型坐标系的转换方法。图9是表示前作业机1A的各部分的坐标系与前模型坐标系之间的关系的图。若将前模型坐标系设为以前作业机1A的
各部位的长边方向为Z轴(前侧部件前方为正)的左手正交坐标系，则从部位模型数据(xm，
ym，zm)向目标计测姿势的前模型数据(xf，yf，zf)的转换能够使用如下的式子(参照数式1)来
进行。此外，θ是与作业信息输入部15b获取的作业信息建立了对应关联的各部位的旋转角
度，(Tx，Ty，Tz)表示每个部位的平移向量。

[0059] 数式1

[0060]

[0061] 如上所述，平移向量(Tx，Ty，Tz)对于每个前作业机1A的部位都不同。若假设成为校正作业的对象的机械的前作业机1A由动臂1a、斗杆1b、铲斗1c构成，则动臂1a的平移向量
TB、斗杆1b的平移向量TS、铲斗1c的平移向量TA分别由如下式子(参照数式2)表示。在此，LB
表示动臂长度，LS表示斗杆长度，LA表示铲斗长度，θB表示动臂旋转角度，θS表示斗杆旋转角
度。

[0062] 数式2

[0063] TB＝0

[0064]

[0065]

[0066] (从前模型坐标系向标识坐标系的转换)

[0067] 而且，模型坐标转换部17b在S105中从标识位置信息记忆部17j读取驾驶席7内的标识7b的安装位置信息(例如以动臂1a的根部销(动臂销)的位置为基准的位置)，进行从以
动臂1a的基端侧的旋转轴为基准的前模型坐标系向标识坐标系的坐标转换(S106)。由此使
实际中的前作业机1A的动臂1a根部销位置与前模型数据的动臂根部销位置一致。

[0068] 参照图10来详细说明S106的向标识坐标系的转换。图10是表示前模型坐标系与标识坐标系之间的关系的图。若将标识坐标系设为以标识中心为原点、以与标识平面正交的
方向为Z轴(车身前方为正)的左手正交坐标系，则使用从实际中的液压挖掘机1的动臂销的
中心位置到标识安装中心位置为止的距离向量(tx，ty，tz)，向标识坐标系的转换后的前模
型数据的坐标(xr，yr，zr)由如下式子表示。此外，标识7b的安装位置信息预先记忆在标识位
置信息记忆部17j，标识7b与动臂根部销平行地设置。

[0069] 数式3

[0070]

[0071] (标识的检测)

[0072] S107中，标识检测部17e获取摄像头17A拍摄的驾驶者M的前方的图像(拍摄图像)。接着，标识检测部17e相对于由S107获取的拍摄图像进行边缘检测等图像处理，从标识信息
记忆部17h读取包括标识的形状和大小的信息(S108)，并基于该信息来检测拍摄图像内所
拍到的标识7b(S109)。

[0073] 具体地，标识检测部17e作为用于从摄像头17A拍摄到的拍摄图像检测标识7b的前处理，而相对于拍摄到的RGB图像进行使用阈值将各像素的明度值转换为0或255的阈值处
理，由此将拍摄图像向二值化图像转换。接着，为了检测标识7b的轮廓，进行边缘检测处理。
将明度差大的像素设为边缘。边缘检测例如使用索贝尔滤波器(Sobel filter)而对二值化
图像进行索贝尔滤波器的核函数的卷积运算，由此检测水平方向和垂直方向的边缘。而且，
相对于检测到的边缘进行直线近似。在直线近似中使用最小二乘法和霍夫变换。通过直线
近似，获取近似的直线的交点坐标来作为标识矩形的顶点。而且，标识检测部17e检测由从
图像处理后的拍摄图像中获取的标识矩形的四个顶点而规定的四边形区域(也就是说拍摄
到标识7b的区域)，对该四边形区域的形状、和在标识信息记忆部17h作为向量形式的参数
数据预先记忆的标识7b的形状(模板图案)进行图案匹配。并且，标识检测部17e在双方的匹
配率超过规定阈值的情况下，判断为在拍摄图像内检测到的四边形区域相当于标识7b，在
摄像头17A的拍摄图像中拍到了标识7b。

[0074] (标识坐标系中的摄像头17A的位置、姿势的推定)

[0075] 摄像头姿势推定部17f在S110读取摄像头17A的内部参数，基于该内部参数和由S109检测到的标识7b的形状(也就是说摄像头17A的拍摄图像中的标识7b的形状)来计算摄
像头17A的外部参数(摄像头17A的姿势和位置)(S111)。摄像头17A的姿势和位置能够改称
为摄像头17A的光轴方向和安装位置。能够根据摄像头17A的姿势和位置来运算驾驶者M的
视点位置和视线方向。内部参数是包括摄像头17A的失真的不依赖摄像头17A的位置和姿势
的变化的硬件固有的参数，预先记忆在记忆装置17D内所设的记忆区域、即内部参数记忆部
17i内。

[0076] 在此详细说明S111的摄像头17A的姿势和位置的推定。此外，摄像头17A的姿势和位置的推定方法通常是公知的，由此仅详细记载工序。

[0077] 首先，从标识坐标系向摄像头坐标系的转换能够使用对由S111推定的摄像头17A的姿势和位置进行表示的外部参数来表现。另一方面，从摄像头坐标系向画面坐标系的转
换能够使用摄像头17A的内部参数来表示。在此，内部参数包括半透镜17G上设定的画面坐
标系的原点、摄像头17A的焦点距离、像素的标度因数、摄像头17A的半径方向以及圆周方向
上的失真。

[0078] 因此，从标识坐标系向画面坐标系的转换能够与摄像头17A的外部参数和内部参数配合地由透视投影矩阵来表现。透视投影转换矩阵为3×4的矩阵，由此未知数为12个，但
是将能够忽视定数倍、和标识7b的顶点处于标识坐标系的同一平面上作为限制条件，未知
数成为7个。因此，若从摄像头17A的拍摄图像算出的摄像头坐标系中的标识7b的顶点坐标
与标识坐标系中的标识7b的顶点坐标之间的组合为4组，则能够解开方程式。也就是说，能
够根据标识检测部17e检测的摄像头坐标系中的标识7b的四个顶点坐标求出透视投影矩阵
的成分。

[0079] 如上所述，透视投影矩阵由摄像头17A的内部参数和外部参数组合而成，能够根据从标识7b的顶点求出的透视投影矩阵和已知的内部参数求出摄像头17A的外部参数、即摄
像头17A的位置、姿势。

[0080] (从标识坐标系向画面坐标系的转换和目标姿势图像的生成)

[0081] S112中，目标姿势图像生成部17c利用了使用由S111获取的摄像头17A的姿势和位置(摄像头17A的外部参数)和摄像头17A的内部参数来表现的透视投影矩阵，将标识坐标系
中的前模型数据向半透镜17G上设定的画面坐标系转换(透视投影转换)。通过该透视投影
转换，前模型数据从三维的标识坐标系向二维的画面坐标系转换。这样地透视投影转换后
的前模型数据的图像是图8的右侧所示的、从驾驶者M观察到的对前作业机1A的目标计测姿
势进行表示的目标姿势图像24。显示控制部17d将由目标姿势图像生成部17c生成的目标姿
势图像24向投影仪17E输出，由此目标姿势图像24投影至半透镜17G(S113)。在图8的左侧表
示驾驶者M借助半透镜17G看到的现实中的前作业机1A和目标姿势图像24重叠的样子。也就
是说，本实施方式的HDM17(半透镜17G)作为如下显示装置实现功能，该显示装置构成为，能
够使目标姿势图像24与在驾驶者M的视点位置以及视线方向上观察到的现实中的前作业机
1A重叠。

[0082] (校正作业)

[0083] 接着，说明对于惯性计测装置S1、S2、S3的校正作业所必要的控制器(校正作业控制装置)20。该控制器20每当利用HMD17由实际中的前作业机1A采取目标计测姿势时被利
用。

[0084] 图11是对于惯性计测装置S1、S2、S3的校正作业所必要的系统的概略构成图。该图所示的系统具有：获取惯性计测装置S1、S2、S3的输出信号并负责校正作业的控制器(校正
作业控制装置)20；和对将前作业机1A的前侧部件1a、1b、1c连结的各销p1～p6以及铲斗爪
尖p7(参照后述的图13)的三维位置坐标进行计测的销位置计测装置(例如全站仪)19。控制
器20能够搭载于液压挖掘机1，与输入装置15、惯性计测装置S1、S2、S2以及销位置计测装置
19以能够实现数据通信的方式连接。此外，控制器20可以通过对HMD17的显示控制装置和输
入装置15的输入控制装置安装程序而构成于HMD17和输入装置15内，也可以构成于与液压
挖掘机1独立的计算机内。

[0085] 控制器20与显示控制装置17B和输入控制装置15G同样地具有运算装置、记忆装置、通信I/F、和输入输出I/F(均未图示)，由运算装置执行在记忆装置内记忆的程序，由此
作为图11中所示的各部分发挥功能。控制器20作为计测指示接收部20a、计测指示发送部
20b、计测值获取部20c、输出信号获取部20d、以及安装角度计算部20e实现功能，在记忆装
置内的记忆区域内确保信息记忆部20f的构成。使用图12，与控制器20的各部分的说明一同
来说明由控制器20执行的处理的流程图。

[0086] 图12是控制器20执行的校正作业处理的流程图。

[0087] 驾驶者M基于HMD17上显示的目标姿势图像24而将前作业机1A的姿势设为目标计测姿势，然后当触摸显示器15A上的校正作业开始按钮后，输出计测指示信号，控制器20开
始图12所示的流程图。当流程开始后，经由电气线缆等与输入装置15连接的控制器20的计
测指示接收部20a获取从输入装置15输出的计测指示信号(S114)。

[0088] S115中，控制器20的计测指示发送部20b以从输入装置15获取计测指示为触发，相对于与控制器20能够无线通信地连接的销位置计测装置20发送计测指示信号。在此，销位
置计测装置19例如是全站仪等能够高精度计测角度和距离的装置，以下说明销位置计测装
置19为全站仪的情况。如图13所示，对于将前作业机1A的各前侧部件1a、1b、1c连结的各销
p1～p6以及铲斗爪尖p7的轴向端面，预先设置有计测用标识。从控制器20接收到计测指示
信号的全站仪(销位置计测装置19)计测离各标识的距离以及角度。当计测结束之后，全站
仪(销位置计测装置19)将该计测值(离各标识的距离以及角度)向控制器20发送，由此控制
器20获取全站仪的计测值(S116)。此外，由于全站仪的构成以及工作是公知的，所以在此省
略说明。

[0089] 在S117中，控制器20的输出信号获取部20d获取惯性计测装置S1～S3的输出信号。

[0090] S118中，控制器20的安装角度计算部20e基于由S116获取的全站仪(销位置计测装置19)的计测值、和由S117获取的惯性计测装置S1～S3的输出信号来计算惯性计测装置S1
～S3相对于前作业机1A的各前侧部件的安装角度(S118)，并将其作为校正信息而记录至校
正信息记忆部20f(S119)。

[0091] (作用效果)

[0092] 在上述那样构成的校正作业支援系统中，当驾驶者M向输入装置15输入机械信息(包括车辆类别信息以及规格信息)和作业信息(包括作业项目信息以及作业工序信息(目
标计测姿势))后，显示控制装置17B生成在驾驶者M的视点位置以及视线方向上对采取了目
标计测姿势的前作业机1A进行观察的情况下的图像(目标姿势图像24)，并将该目标姿势图
像24投影至HMD17的半透镜17G。HMD17的半透镜17G具有透视性，由此，目标姿势图像24与此
时的在驾驶者M的视点位置以及视线方向上观察到的现实中的前作业机1A重叠(参照图8)。
与现实中的前作业机1A同样地，目标姿势图像24也是在驾驶者M的视点位置以及视线方向
上观察到的前作业机1A的姿态。因此，驾驶者M仅仅靠以使现实中的各前侧部件与半透镜
17G上的目标姿势图像中的各前侧部件重合的方式对操作杆7a1、7a1进行操作来使现实中
的前作业机1A动作，就能够身处驾驶室7内使前作业机1A采取对于校正作业所必要的目标
计测姿势。也就是说，惯性计测装置S1、S2、S2的校正作业中，驾驶者M无需离开驾驶室7从液
压挖掘机1的侧方通过视觉观察确认前作业机1A的姿势，不论驾驶者M的熟练度，都能够身
处驾驶室7内将前作业机1A操作为正确的目标计测姿势。该结果为，不需要从驾驶室7外通
过视觉观察进行确认的工序，提高校正作业整体的作业性。

[0093] (变形例)

[0094] 接着，说明上述实施方式的变形例。上述实施方式中表示了如下例子：作为显示装置而使用了佩戴于驾驶者的头部的HMD17，HMD17的摄像头17A检测前玻璃16上的标识7b，由
此推定驾驶者M的头部姿势，控制半透镜17G上的目标姿势图像24的显示。

[0095] 作为其他例子，也可以代替HMD17，而使用不具有镜头和半透镜等光学类设备的普通的显示装置(例如LCD显示器和有机EL显示器)。具体地，如图14所示，能够利用固定在驾
驶室7中的右侧的支柱13上的显示装置18。在显示装置18的壳体内收纳有显示控制装置
17B。

[0096] 图15是表示显示装置18的表面(图中左)和背面(图中右)的图。在显示装置18的背面设有摄像头18A，该摄像头18A对包括前作业机1A的驾驶室7前方进行拍摄。目标姿势图像
26与上述的实施方式相同地是基于输入装置9获取的机械信息和作业信息而生成的。在显
示器18的表面(图中左)显示有摄像头18A拍摄到的驾驶室前方的拍摄图像25、和从摄像头
18A的安装位置朝向摄像头18A的光轴方向观察采取了目标计测姿势的前作业机1A的模型
数据的情况下的图像(目标姿势图像)26，撮像图像25上的现实中的前作业机1A上重叠显示
有目标姿势图像26。此外，其他部分与之前的实施方式相同，省略说明。

[0097] 如上所述，在本变形例中，显示控制装置17B将生成目标姿势图像26时的成为基准的位置以及方向设为安装在液压挖掘机1(支柱13)上的摄像头18A的安装位置以及光轴方
向。显示控制装置17B基于从输入装置15输入的机械信息、目标姿势信息(作业信息)、和摄
像头18A的安装位置以及光轴方向，作为由摄像头18A对采取了目标计测姿势的前作业机1A
进行观察时的图像(目标姿势图像)26而生成图像。显示装置18是配置在落座于驾驶室7内
的驾驶席上的驾驶者M的前方的显示器，使由摄像头18A拍摄到的现实中的前作业机1A与目
标姿势图像26重叠显示。

[0098] 这样地校正系统也与之前的实施方式同样地，无论成为校正作业的对象的机械的车辆类别和规格，能够以与实际中的前侧部件的位置重叠的方式向驾驶者提示目标姿势图
像26。因此，驾驶者能够身处驾驶室7内容易地掌握目标姿势图像26与现在的前作业机1A的
姿势之间的差量。也就是说，不论驾驶者M的熟练度，都能够身处驾驶室7内将前作业机1A操
作为正确的目标计测姿势。该结果为，不需要从驾驶室7外通过视觉观察进行确认的工序，
提高校正作业整体的作业性。

[0099] (其他)

[0100] 此外，本发明并不限定于上述实施方式，包括不脱离其要旨范围内的各种变形例。例如本发明并不限定于具有上述实施方式所说明的全部构成，也包括将其一部分构成删除
的方案。另外，也能够将某一实施方式的一部分构成对其他实施方式的构成追加或置换。

[0101] 另外，上述中，当生成目标姿势图像24、26时，以驾驶者M的视点位置以及视线方向、和摄像头18A的安装位置以及光轴方向为基准，但只要是能够使现实中的前作业机1A与
目标姿势图像在共通的视点位置以及视线方向上重合的视点位置以及视线方向，也可以以
希望的视点位置以及视线方向为基准来生成目标姿势图像。

[0102] 另外，上述实施方式中包括的控制装置(例如，显示控制装置17B、输入控制装置15G、控制器20)的各构成和该各构成的功能以及执行处理等可以由硬件(例如在集成电路
上设计执行各功能的逻辑等)实现其一部分或全部。另外，上述控制装置的构成也可以作为
通过由运算装置(例如CPU)进行读取和执行来实现该控制装置的构成的各功能的程序(软
件)。该程序的信息例如能够记忆在半导体存储器(闪存、SSD等)、磁性记忆装置(硬盘驱动
器等)以及记录介质(磁盘、光盘等)等。

[0103] 另外，上述的各实施方式的说明中，关于控制线和信息线，仅表示了为了该实施方式的说明所必要的部分，但并不限于表示了与产品有关的全部的控制线和信息线。可以认
为在现实中几乎全部构成是相互连接的。

[0104] 附图标记说明

[0105] 1…液压挖掘机，1A…前作业机，1a…动臂，1b…斗杆，1c…铲斗，S1～S3…姿势计测装置，7…驾驶室，M…驾驶者，7b…二维标识，13…前玻璃，15…输入装置，15A…显示器，
15a…机械信息输入部，15b…作业信息输入部，16…支柱，17…头戴式显示器，17A…摄像
头，17B…显示控制装置，17C…运算装置，17D…记忆装置，17E…投影仪，17F…镜头，17G…
半透镜，17H…通信I/F，17a…模型选择部，17b…模型坐标转换部，17c…目标姿势图像生成
部，17d…显示控制部，17e…标识检测部，17f…摄像头姿势推定部，17g…模型数据记忆部，
17h…标识信息记忆部，17i…内部参数记忆部，17j…标识位置信息记忆部，18…显示装置，
18A…摄像头，24、26…目标姿势图像，25…前景图像。