基于红外结构光的集装箱吊具抓箱作业感知系统及方法

摘要

本发明公开了一种基于红外结构光的集装箱吊具抓箱作业感知系统及方法。该系统包括至少两组安装在正面吊抓手内侧两端的红外激光器和带有红外滤光片的摄像头。基于该摄像头拍摄到的红外图线，本发明还提出了与之相应的感知方法，通过计算抓手与箱顶在5个自由度上的偏移量：抓手自身左右翻转角β、抓手与箱顶高度差h、抓手自身水平旋转角α、抓手与箱顶水平平移量Δx、Δy，自动引导抓手对准集装箱顶，实现对准。本发明成本低，精度高，在一定程度上提高了正面吊车抓取集装箱的效率。

权利要求

1.一种基于红外结构光的集装箱吊具抓箱作业智能感知系统，其特征在于，包括安装在正面吊抓手内侧两端的至少两组带有红外滤光片的摄像头和红外激光器，所述摄像头的拍摄方向和红外激光器的激光中线方向为重力方向，其中摄像头与红外激光器的安装位置需要满足以下要求：(1)红外激光器发出的其中一条激光线与抓手长边线垂直；

(2)上述与抓手长边线垂直的激光线在摄像头采集的图像中呈竖直方向。

2.根据权利要求1所述基于红外结构光的集装箱吊具抓箱作业智能感知系统，其特征在于，在所述摄像头一侧加装减震环。

3.根据权利要求1或2所述基于红外结构光的集装箱吊具抓箱作业智能感知系统，其特征在于，所述红外激光器的发射头为十字激光头或为两个垂直放置的一字激光头。

4.一种与权利要求1至3之一所述的感知系统相应的基于红外结构光的集装箱吊具抓箱作业智能感知方法，其特征在于，包括如下步骤：

1）安装带有红外滤光片的摄像头和红外激光器：在正面吊抓手内侧两端安装至少两组摄像头和红外激光器，所述摄像头的拍摄方向和红外激光器的激光发射方向为重力方向；

2）通 过 摄 像 头 采 集 红 外 激 光 器 发 出 的 红 外 线 图 像，多 次 测量 与 记 录 下 列5 个 自 由 度 的 偏 差 量：正 面 吊 抓 手 自 身 左 右 翻 转 角 、正面吊抓手与箱顶高度差 、正面吊抓手自身水平旋转角 、正面吊抓手与箱顶水平方向沿集装箱长边的平移量 、正面吊抓手与箱顶水平方向沿集装箱短边的平移量 ；

3）根据上述5个自由度的偏差量，利用红外线图像中的几何关系，得出抓手的位置估测结果；

4）根据抓手的位置估测结果调节正面吊抓手。

说明书

基于红外结构光的集装箱吊具抓箱作业感知系统及方法

技术领域：

[0001] 本发明涉及激光定位和图像识别领域，特指在码头正面吊作业中，使用红外线定位集装箱具体位置，并自动抓箱的系统及方法。背景技术：

[0002] 在码头作业中，正面吊是一种重要的运输设备，其抓箱作业如图1所示。集装箱提起作业中，司机通过调整正面吊抓手，将抓手对准并贴紧集装箱后将其提起。对准并贴紧集装箱，是一个难度较高的操作，学徒司机为将抓手对准箱子，往往需要反复调整抓手，造成多余耗油和耗时，降低了港口运行效率。发明内容：

[0003] 针对集装箱提起作业中对准困难的问题，本发明旨在提供一种基于红外结构光的集装箱吊具抓箱作业智能感知系统及方法，可以自动感知正面吊抓手与集装箱在5个自由度的实际偏差量，从而使得吊车自动根据这5个实际偏差量分步调整抓手实现对准，减少耗油成本，提高工作效率。

[0004] 为实现上述发明目的，本发明提出的解决方案是：一种基于红外结构光的集装箱吊具抓箱作业智能感知系统，包括安装在正面吊抓手内侧两端的至少两组带有红外滤光片的摄像头和红外激光器，所述摄像头的拍摄方向和红外激光器的激光中线方向为重力方向，其中摄像头与红外激光器的安装位置需要满足以下要求：

[0005] (1)红外激光器发出的其中一条激光线与抓手长边线垂直；

[0006] (2)上述与抓手长边线垂直的激光线在摄像头采集的图像中呈竖直方向。 [0007] 为降低每次抓箱震动对设备的影响，需要保证激光器与摄像头固定牢靠，作为优选方案，可以在摄像头一侧加装减震环。

[0008] 作为具体实施方案，所述红外激光器的发射头为十字激光头或为两个 垂直放置的一字激光头。

[0009] 同时，本发明还提出与上述感应系统相应的感应方法，包括如下步骤： [0010] 1)安装带有红外滤光片的摄像头和红外激光器：在正面吊抓手内侧两端安装至少两组摄像头和红外激光器，所述摄像头的拍摄方向和红外激光器的激光发射方向为重力方向；

[0011] 2)通过摄像头采集红外激光器发出的红外线图像，多次测量与记录下列5个自由度的偏差量：正面吊抓手自身左右翻转角β、正面吊抓手与箱顶高度差h、正面吊抓手自身水平旋转角α、正面吊抓手与箱顶水平方向沿集装箱长边的平移量Δx、正面吊抓手与箱顶水平方向沿集装箱短边的平移量Δy；

[0012] 3)根据上述5个自由度的偏差量，利用红外线图像中的几何关系，得出抓手的位置估测结果：

[0013] 4)根据抓手的位置估测结果调节正面吊抓手。

[0014] 作为具体的实施方式，所述正面吊抓手自身左右翻转角β的计算方法是： [0015] 设摄像机C1与C2的焦距为f，因为

[0016]

[0017] 联立上面各方程可以求得抓手左右翻转角β；式中MO1、NO2表示图5中集装箱顶上红外线的实际长，M′O1′表示MO1映射在图像中的像素个数，N′O2′表示NO2映射在图像中的像素个数，f表示摄像机焦距，PM、QN表示图6中激光面的侧视长度，PQ表示两激光头的间距。

[0018] 正面吊抓手与箱顶高度差h的计算方法是：

[0019] 因

[0020] PM＝(h/sinβ-WP)*tanβ

[0021] (2)

[0022] ＝h/cosβ-WP*tanβ

[0023] 且

[0024] 联立式(2)和式(3)，带入β，即式1中得出的β，可以求得h；式中WP表示旋转轴距左侧激光头的实际长度，PM、M′O1′、PC1沿用前面定义。

[0025] 正面吊抓手自身水平旋转角α的计算方法是：

[0026] 由 计算得出正面吊抓手自身水平旋转角α。式中M′T′1、N′T′2表示图4中红外纵线的像素长度，M′O1′、N′O2′表示图4中红外横线的像素长。

[0027] 本发明所述基于红外结构光的集装箱吊具抓箱作业智能感知系统及方法详细描述如下：

[0028] (一)装置部分

[0029] 装置部分至少包括两组带有红外滤光片的摄像头和红外激光器，分别安装在吊车抓手的两侧，如图1中位置3、4；图2给出了吊车抓手安装完成后的俯视图，其中虚线表示摄像机可以拍到的视野；两个摄像机拍摄到的图像如图4。更详细安装方案在“具体实施方案”一节给出。

[0030] 安装三组设备的过程中，需确保满足以下要求：

[0031] (1)调整红外激光器，使图2中的红外激光器P、Q的竖直发射线与抓手内侧(AB连线)垂直。

[0032] (2)调整摄像头，使图4中的竖直红外线在拍摄图像中呈竖直方向(1、2竖线垂直于图像下边缘)。

[0033] (3)摄像头和红外激光头均需按重力方向安装，即指摄像头的拍摄方向和激光器中线的照射方向均是重力方向。

[0034] 红外激光器P、Q可以为十字激光头，也可以用两个垂直安放的一字激光头代替；该激光器可以安装在摄像头的左侧，也可以在右侧；总之安装存在一定的灵活性。 [0035] 实际安装中可能存在安装不准，即前述三点安装要求无法完全达到， 本发明考虑到了上述安装不准对估测造成的影响，后述部分指出，安装不准、检测不准造成的误差均在可接受范围内。

[0036] (二)各自由度偏差的估测算法

[0037] 本发明还提出了估计吊车抓手与集装箱在5个自由度偏差的方法，这5个方向的自由度分别是：

[0038] (1)水平方向上沿正面吊长边(图2中AB方向)的平移Δx；

[0039] (2)水平方向上沿正面吊短边(图2中AE方向)的平移Δy；

[0040] (3)抓手与集装箱顶的水平旋转角α(图7中的α)；

[0041] (4)抓手与集装箱顶的高度差距h(图6中的h)；

[0042] (5)抓手在自身左右方向的翻转角β(图6中的β)；

[0043] 图3反映了通常情况下，吊车抓手与集装箱存在的Δx、Δy、α的偏差。 [0044] 估算算法可以综述为：始终围绕两个摄像头拍摄到的图像，首先判断抓手的初始位置是否需要粗调，粗调方法见“具体实施方式”中的第三步，粗调的目的是保证后续估算可以进行。粗调到位后，根据拍摄到的两张图像，根据公式直接计算抓手左右翻转角β、高度差h、水平旋转角α。然后将这三个偏差量纠正后，再次拍摄获得两张新图像，直接计算水平平移Δx、Δy。

[0045] ■翻转角β和高度差h的计算

[0046] 翻转角β和高度差h的估计通过2幅图像中的2条竖线进行估计。当抓手不需要粗调时(后续章节指出)，此时摄像头C1、C2拍摄到的图像如图5所示，同时抓手与顶箱的侧面关系如图6所示。

[0047] 图6展示了红外激光器P、Q的侧面图(即图2中P、Q)，PM与QN表示它们的激光面，C1与C2分别表示两个边侧摄像头。在安装时通过米尺测量两个红外激光器之间的距离PQ，红外激光器P到摄像头C1之间的距离PC1，红外激光器Q到摄像头C2之间的距离QC2均为已知量，且在图4中M′O1′与N′O2′(M′O1′、N′O2′表示图4中红外横线的像素长)均可在图像中测量得到，也是已知量。

[0048] 底片中，设摄像机C1与C2的焦距为f，因为

[0049]

[0050] 联立上面各方程可以求得抓手左右翻转角β。

[0051] 式中：MO1、NO2表示图5中集装箱顶上红外线的实际长，M′O1′表示MO1映射在图像中的像素个数，N′O2′表示NO2映射在图像中的像素个数，f表示摄像机焦距，PM、QN表示图6中激光面的侧视长度，PQ表示两激光头的间距。

[0052] 又因

[0053] PM＝(h/sinβ-WP)*tanβ

[0054] ＝h/cosβ-WP*tan

[0055] 且 联立两式并带入β可以求得h。式中，WP表示旋转轴距左侧激光头的实际长度，PM、M′O1′、PC1沿用前面定义。

[0056] ■水平旋转角α的计算

[0057] 计算水平旋转角α时仍使用图4摄到的2条竖线1、2。当不需要粗调时(见具体实施方案)，拍摄到的图像如图4所示；此时水平旋转角α可通过

[0058]

[0059] 计算得出。在安装与直线检测不准的情况下误差仍然较低，达到±2°以内。式中，M′T′1、N′T′2表示图4中红外纵线的像素长度，M′O1′、N′O2′表示图4中红外横线的像素长。

[0060] ■水平平移Δy的计算

[0061] 对于水平平移Δx、Δy的计算，本发明采用的方法是：在纠正旋转角度α之后(使α＝0)，再拍摄一组图像，进行平移量的测量。纠正α后再计算 是为了规避旋转中心；旋转中心与抓手结构、大小等有关，会增大计算复杂度。纠正后的抓手与箱顶的位置关系如图11所示。

[0062] 估测Δy采用图像中的2条竖线，具体的计算步骤是：

[0063] (1)首先人工将吊车抓手对准集装箱；记录此时图5中线段M′T1′的像素个数，记为M′T′0，并记录此时的高度h0。设此时实际ST长为M′Treal(未知)，则有 [0064]

[0065] (2)对于任意高度h，设对准时M′T1′的像素个数为M′T′acu(可求)，则有 [0066]

[0067] 通过STreal联立(1)，则可求出M′T′acu：

[0068] (3)对于任意高度h，没有对准时的图像长为M′T1′，需要计算的实际偏移量为MT-MTacu，联立(2)有

[0069]

[0070] 与(3)第一个公式联立，Δy方向的实际偏移量：

[0071] MT-MTacu＝(M′T1′-M′T′acu)*h/f

[0072] 移动抓手的具体规则是：

[0073] MT-MTacu表示实际吊具需要移动量；如果MT-MTacu＞0，则向里移动(靠近吊车方向)，否则向外移动。

[0074] ■水平平移Δx的计算

[0075] 对于左右平移Δx的估计，采用了与Δy相同的方法。左右摄像头中，必然有一个摄像头能够拍摄到如图5的图像。如果两个摄像头都能拍到上述图像，则选择S′U′较大的一幅图像进行运算，原理与Δy的方法一样。

[0076] 计算过程同上一节，Δx方向的实际偏移量OU-OUacu为

[0077]

[0078] 移动抓手的具体规则是：

[0079] OU-OUacu表示实际吊具需要移动量；如果右摄像机OU-OUacu＞0，则向右移动，否则向左移动。

[0080] 综上所述，本发明所述集装箱吊具抓箱作业智能感知系统基于红外线射在集装箱顶面的直线，能够自动感知抓手与集装箱在5个自由度上的偏差，并根据这5个量分步调整抓手，实现对准。使用激光进行目标定位在数控机床、机器人感知等领域已经有较为成熟的应用，关于其定位误差、误差补偿理论也有一定研究。当司机将抓手移动到集装箱上方时，且集装箱间有横向间隙时，本系统可以识别抓手与集装箱的细微偏差，误差在±2cm、±2°之内。附图说明：

[0081] 图1是本发明设备安装位置示意图；

[0082] 图2是吊车抓手安装设备后的俯视图；

[0083] 图3是通常情况下安装了本发明的吊车抓手俯视图；

[0084] 图4是通常情况下由2个摄像机拍摄的2幅图像；

[0085] 图5是将翻转角β与水平旋转角α调为零时后拍摄到的图像；

[0086] 图6是估测翻转角β与高度差h时用到的2幅图像；

[0087] 图7是在测量水平旋转角α时需要粗调的第一种情况示意图；

[0088] 图8是第一种粗调情况下拍摄的红外线图；

[0089] 图9是在测量水平旋转角α时需要粗调的第二种情况示意图；

[0090] 图10是第二种粗调情况下拍摄的红外线图；

[0091] 图11是将抓手水平旋转和自身翻转纠正后，对抓手的俯视图。

[0092] 在附图中：

[0093] P、Q-红外激光器；C1、C2-摄像头；1、2-相机拍摄到的红外竖线；3、4-安装摄像头的位置；5-摄像机拍摄范围；6-正面吊吊具内侧；A、B-吊具下表面左右两端点；E-吊具左上角点；U′1、M′、O′1、T′1-对拍 摄到的红外图人工标注的点；W-吊具自身左右翻转轴；WZ连线-吊具在调平后的下表面；C1C2连线-吊具在调平前的下表面；β-抓手在自身左右方向的翻转角；α-抓手与集装箱顶的水平旋转角。具体实施方式：

[0094] 本实例提供将正面吊抓手自动对准集装箱的方法，涉及到感应设备的安装、调节和估测程序的兼容等工作。

[0095] 第一步，装置的初步安装。

[0096] 装置部分包括两组摄像头和红外激光器，安装在吊车抓手内侧的两端，如图1所示的位置3、4，安装后的俯视图如图2，当抓手与集装箱存在如图3位置关系时，两个摄像机可以拍摄到如图4的图像。为方便后续计算，对设备安装有如下要求：

[0097] (1)调整激光器使竖直激光线(图2中十字红外激光器P、Q的竖线红外线)与抓手内侧线AB垂直。

[0098] (2)调整摄像头使图中的竖直激光线(图4中线1、线2)在图中呈竖直方向，即线1、线2垂直于图像下边缘。

[0099] (3)摄像头和激光头均需按重力方向安装，即摄像头的拍摄方向和激光器中线的照射方向是重力方向。

[0100] (4)为了使得摄像机拍到红外线，在镜头前安装滤光片。红外线与滤光片波段的选取标准是：每个摄像机只能拍到2条红外线，不能拍摄到其他任何物体。

[0101] 为降低每次抓箱震动对设备的影响，本实施例在红外激光器P的右侧，红外激光器Q的左侧加装有减震环，其具体位置还可依吊车而定，以保证激光器与摄像头固定牢靠。 [0102] 图1中两个框中安装的摄像头与激光头可以有多种方式，例如侧边的十字激光头可以用两个垂直安放的一字激光头代替；激光器可以在摄像头的左侧也可以在右侧。因此，安装方式较为灵活。

[0103] 实际安装中可能存在安装不准，这包括：

[0104] (1)摄像头和激光器无法绝对地按重力方向安装

[0105] (2)激光器无法绝对地在垂直于抓手内侧，或摄像头的安装没有使竖直激光线在图像中竖直。

[0106] 本发明考虑到了上述2种安装不准对估测造成的影响，实验结果指出，包括安装不准造成的误差在可接受范围内。

[0107] 第二步，常量的多次测量与记录。

[0108] 为进行估测，必须测量或记录某些常量，这一点在前面的发明内容中已经指出，这里将需要统计的常量总结如下：

[0109] (1)摄像机焦距f、拍摄图像中每个像素对应的实际长度k。容易发现f，k无法单独求出，而只需求出f/k。

[0110] (2)估测翻转角β时用到的抓手上装置的常量，即图6中的PQ，PC1，QC2。 [0111] (3)估测高度差h时用到的抓手上装置的常量，即图6中的WP。

[0112] (4)估测水平平移的Δy时手工对准后需记录的量，即图5中M′T′0、h0。 [0113] (5)估测水平平移的Δx时手工对准后需要记录的量，即图5中O′U′0、h0。注意到此步的h0与上一步的h0相同，表示可以在抓手对准后一次记录下3个量。 [0114] 上面5组量，均需要进行多次测量以降低误差，本实施例优选5次测量并取平均值。

[0115] 第三步，运行偏差估测程序，得出估测结果。

[0116] 当完成前两步之后，需要运行估测算法，求出各自由度偏差的结果。整个估测程序，是边移动抓手，边进行估测的，主要分为粗调与估测两大步。

[0117] 粗调与估测算法运行步骤是这样的(依次进行)：

[0118] (1)如果左右边侧摄像头均无图像时，说明偏差过大，需要司机手动将抓手移动到集装箱上方。

[0119] (2)首先计算翻转角β、高度差h。如果某一摄像头拍摄不到竖线，需要粗调将抓手向驾驶舱方向移动，直至拍到。当边侧摄像头均能拍到竖线时(如图5)，根据前面的公式计算β、h。

[0120] (3)计算水平旋转角α。如果某一摄像头拍不到竖线，需要粗调将抓手向 驾驶舱方向移动，直至拍到；此外，如果图像中的某一竖线呈现满全图时(见图7、图9)，也需要粗调将抓手向驾驶舱方向移动，直至不满全图，转化为机器语言是：

[0121] 当M′E′(或N′F′)等于0.5*Heightimg时，抓手向靠近吊车方向运动，其中0.5*Heightimg是指拍摄到的图像高度。

[0122] 当M′E′(或N′F′)等于0时，即不存在交点M′，抓手向远离吊车方向运动。 [0123] 当粗调完成时或不需要粗调时，摄像机可以拍摄到如图5的图像。此时水平旋转角α可通过

[0124]

[0125] 计算得出。在安装与直线检测不准的情况下误差仍然较低，达到±2°以内。 [0126] (4)水平平移Δx、Δy的计算。

[0127] 在α，β，h三个量测量完成后，需要调整抓手使得α≈0且β≈0，此时抓手与箱顶的位置关系如图11所示。根据公式

[0128] MT1-MTacu＝(M′T1′*h-M′T′0*h0)/f

[0129] 计算Δy的实际偏移量MT1-MTacu。其中MT1表示当前高度下，集装箱顶面竖直红外线的实际长度。MTacu表示当前高度下，对准后的竖直红外线长，因此MT1-MTacu表示了为了对准吊具需要移动的量。M′T1′表示当前高度下，图5中M′T1′的像素长，h为当前高度。M′T′0为第一次对准时记录的图像中M′T1′的像素长，h0是第一次记录的高度。 [0130] 根据公式

[0131] O1U1-O1Uacu＝(O1′U1′*h-O1′U′0*h0)/f

[0132] 计算Δx的实际偏移量O1U1-O1Uacu。其中OU表示当前高度下，集装箱顶面水平红外线的实际长度，O1Uacu表示当前高度下，对准后的水平红外线长，因此O1U1-O1Uacu表示了为了对准吊具需要移动的量。O1′U1′表示当前高度下，图5中O′U1′的像素长，h为当前高度。O′U′0为第一次对准时记录的图像中O1′U1′的像素长，h0是第一次记录的高度。 [0133] 注意以上步骤是依次进行的。

[0134] 第四步，根据结果调节装置以降低误差

[0135] 实验指出，初始求出的结果会有较大误差，特别是翻转角β对设备安装较为敏感。

[0136] 第一步指出3个安装条件只需肉眼目测达到要求即可，此时可以保证大部分量的误差在±2°与±2cm之内。翻转角β的灵敏度偏高，调节方法是：司机首先将抓手调平，然后轻微调节激光器使β＝0，标准的依据可参考概率论中假设检验方法)。 [0137] 第五步，使感知程序与吊车系统兼容，将实际偏移量转化为齿轮移动量。 [0138] 为了将集装箱抓起，吊车抓手自动对准的步骤是：

[0139] (1)将抓手自身的左右翻转角β调节为零；

[0140] (2)将抓手水平旋转角α调节为零；

[0141] (3)调整抓手使得水平平移量Δx、Δy均为零；

[0142] (4)放下抓手，使得高度差h为零

[0143] 上述运动涉及移动吊臂的具体程序，这一步必须由吊车系统完成。本发明只负责估测出实际偏移量，将其转化为齿轮移动量的工作应由吊车生产厂商完成。