用于定位夹持部件的方法、负载操纵装置和计算机可读存储器部件

摘要

3D点云由负载操纵装置的夹持部件(204，206)相对于装置(202)形成，该装置(202)在负载操纵装置中的负载上方水平地移动，并且夹持部件(204，206)连接到该装置(202)以在竖直方向中移动。通过将形成的3D点云与夹持部件(204，206)的至少一个3D模型进行比较，相对于水平可移动装置定位夹持部件(204，206)。

权利要求

1.一种用于定位夹持部件的方法，包括：

相对于水平可移动装置形成负载操纵装置的夹持部件的3D点云，所述水平可移动装置在所述负载操纵装置中的负载上方水平地移动，并且所述夹持部件连接到所述水平可移动装置以在竖直方向中移动，其中所述3D点云由至少一个2D图像形成，所述2D图像在与所述水平可移动装置的运动方向平行的二维平面中描绘所述夹持部件；

相对于所述水平可移动装置定位所述夹持部件，其中通过将所形成的3D点云与所述夹持部件的至少一个3D模型进行比较，基于所述3D点云确定所述夹持部件的高度，以及将所述夹持部件的2D模型缩放到所述夹持部件的所述高度，并且使所缩放的2D模型适合于所述

2D图像，以便确定所述夹持部件在所述二维平面中的偏斜和位置。

2.根据权利要求1所述的方法，其中将所形成的3D点云与所述夹持部件的多个3D模型进行比较，所述多个3D模型对应于所述夹持部件相对于所述水平可移动装置的不同位置。

3.根据权利要求1所述的方法，其中基于与所述夹持部件的所述3D点云最优对应的所述3D模型定位所述夹持部件。

4.根据权利要求1所述的方法，其中由所述夹持部件的3D模型确定所述夹持部件相对于所述水平可移动装置的位置，限定以下中的至少一个或多个：所述夹持部件到所述水平可移动装置的距离，所述夹持部件在所述二维平面中的所述位置，所述夹持部件的体积，所述夹持部件的形状，所述夹持部件的所述偏斜以及所述夹持部件的倾斜度。

5.根据权利要求1所述的方法，其中：

通过将所述3D点云与对应于所述夹持部件的不同高度的3D模型进行比较来确定所述夹持部件的高度；

通过将所述3D点云与对应于所述夹持部件的确定高度的3D模型进行比较来定位所述夹持部件，所述3D模型限定以下中的至少一个或多个：所述夹持部件在二维平面中的所述位置，所述夹持部件的体积，所述夹持部件的形状，所述夹持部件的所述偏斜以及所述夹持部件的倾斜度。

6.根据权利要求1所述的方法，其中从所述2D图像中确定被画轮廓的查看区域，并且使所述2D模型适合于所述被画轮廓的查看区域。

7.根据权利要求1所述的方法，其中通过使用以下中的至少一个来过滤所述3D点云：关于所述夹持部件的假设高度的信息，到地面的距离和对平面中所述夹持部件的位置信息的粗略估计。

8.根据权利要求7所述的方法，其中，所述平面中所述夹持部件的位置信息包括先前计算回合的平面中所述夹持部件的位置。

9.根据权利要求7所述的方法，其中已经在所述夹持部件的所述假设高度上设置了使用条件，包括以下中的一个或多个：所述假设高度有效的时间值和所述负载操纵装置的操作模式。

10.根据权利要求1所述的方法，其中在所述夹持部件的当前位置和新位置之间形成误差变量，并且基于所述误差变量控制所述夹持部件朝向所述新位置。

11.根据权利要求1所述的方法，其中所述3D模型表示相对于所述水平可移动装置处于其不同高度处的所述夹持部件。

12.根据权利要求中1所述的方法，其中所述负载操纵装置是起重机。

13.根据权利要求中12所述的方法，其中所述起重机是桥式起重机或龙门起重机。

14.根据权利要求中13所述的方法，其中所述龙门起重机是轮胎式龙门起重机或轨道式龙门起重机。

15.根据权利要求1所述的方法，其中所述夹持部件包括吊钩、纸卷抓斗、抽吸装载器、夹具、磁体或集装箱抓取器。

16.一种负载操纵装置，其包括至少一个处理器和存储器，其中存储器中存储有计算机程序代码；以及定位装置，其被指向到所述负载操纵装置的所述夹持部件，其中所述存储器、计算机程序代码和定位装置与所述处理器一起被配置为产生如权利要求1至15中任一项所要求保护的方法。

17.一种计算机可读存储器部件，包括计算机程序，在计算机上对所述计算机程序的执行产生如权利要求1-15中任一项所要求保护的方法。

说明书

用于定位夹持部件的方法、负载操纵装置和计算机可读存储

器部件

技术领域

[0001] 本发明涉及负载操纵，且具体涉及一种负载操纵装置的夹持部件的定位。

背景技术

[0002] 起重机使用诸如吊钩的夹持部件而附接至正被操纵的负载。关于吊钩位置(location)的信息被用于起重机操作，以便能够精确和快速地操纵负载。为了确定吊钩的位置，吊钩可配备有反射片或产生有源束的电气装置。保持反射片相对清洁是有意义的，以便可以基于它们确定吊钩的位置。另一方面，安装在吊钩上的电气装置可能由于冲击或制造故障而损坏。在维修操作(servicing operation)期间，起重机脱离实际使用，导致起重机的使用程度下降。多个起重机的操作可以相互依赖，由此一台起重机上的维修操作可以降低操作区域(诸如生产设施、存储建筑物或停靠区域)中的其它起重机或负载操纵装置的负载操纵能力。

发明内容

[0003] 本发明的一个方面涉及独立权利要求的主题。在从属权利要求中公开了一些实施例。

[0004] 一些实施例使得可以定位夹持部件而无需安装在其上的附件。

附图说明

[0005] 现在结合优选实施例并参考附图更详细地描述本发明，在附图中：

[0006] 图1示出了根据实施例的负载操纵装置；

[0007] 图2示出了根据实施例在负载上方水平地移动的装置；

[0008] 图3示出了根据用于定位夹持部件的实施例的方法；

[0009] 图4示出了根据用于通过对应于夹持部件的位置的3D模型来定位夹持部件的实施例的方法；

[0010] 图5示出了根据用于控制负载操纵装置的实施例的方法；以及

[0011] 图6示出了根据实施例的装置。

具体实施方式

[0012] 图1示出了根据实施例的负载操纵装置100。负载操纵装置具有操作区域105，在该操作区域105内其操纵负载101或负载103。负载可堆叠在彼此的顶部以形成负载堆103。负载的示例包括集装箱、铝线圈、钢线圈和罐。诸如在港口处操纵的运输集装箱的集装箱是具有长度为20、40或 45英尺的标准尺寸的箱状运输单元。集装箱宽度约为2.5米，并且最典型的集装箱高度约为2.6米和2.9米。负载操纵装置可以用夹持部件104(诸如吊钩、线、磁体、绳索、纸卷抓斗、抽吸装载器、夹具和/或集装箱抓取器)抓住负载。采用夹持部件，可以通过在操作区域内堆叠、夹持和/或移动负载来操纵负载。可以在适当的平台上，诸如在地面上，在生产设施的地板上，在车辆的顶部上或在另一负载的顶部上操纵负载。

[0013] 在上述夹持部件中，不同于例如集装箱抓取器、用于钢铁工业的卷筒夹具，或纸卷抓斗，在吊钩在原则上不需要电气化来实现实际的夹持的意义上，吊钩是有利的。因此，定位吊钩的解决方案应当有利地使得不需要吊钩的电气化。

[0014] 负载操纵装置的操作区域可以包括诸如生产设施、存储建筑物或港口区域的区域，其中负载操纵装置可以通过抓住负载并在该区域中移动来将负载从一个地方(place)移动到另一个地方。操作区域同样可以是负载操纵装置在不移动自身的情况下移动负载的区域。负载操纵装置的操作区域同样可以是上述区域的组合。

[0015] 负载操纵装置的示例包括起重机，诸如工业起重机或港口起重机。起重机的类型可以是龙门起重机、桥式起重机、轮胎式龙门起重机(RTG)、轨道式龙门起重机(RMG)或跨运车。电气桥式起重机可以称为电动桥式起重机(EOT)。

[0016] 在实施例中，负载操纵装置100包括装置102，该装置102在负载上方水平地移动并且具有装载元件，该装载元件在负载和基本上水平地移动的装置之间基本上竖直移动，用于定位在负载的顶部。该类型的负载操纵装置可以是桥式起重机或龙门起重机，其中水平可移动装置是在连接起重机的竖直支撑件的桥上可移动的吊重行动车。吊重行动车具有起重机构，夹持部件耦接到该起重机构，以便随着竖直放置在负载顶部上的该元件移动。夹持部件可以是上述那些中的任何一个。吊重行动车可能处于诸如23 米的高度，允许装载操纵装置下方的负载堆的操纵。以上提到的高度特别地表示港口起重机的典型高度。应该注意的是，对于各种不同的港口起重机、工业起重机和过程起重机(process crane)，高度可能会从几米到几十米不等。

[0017] 代替吊重行动车，水平移动的装置同样可以是可以在负载或负载堆的顶部上水平移动的另一装置。水平移动的装置的示例包括具有起重机构的装置。起重机构可以连接到绳索，在这种情况下，绳索可以向上和/或向下移动，以便提升或降低由绳索支撑的负载。

[0018] 取决于负载操纵装置的类型和/或负载操纵装置的操作环境，竖直支撑件包括例如在负载或负载堆的顶部上在竖直方向中支撑水平可移动装置的龙门起重机支腿或其它支撑结构。例如，负载操纵装置的操作区域中的建筑物或其部件可以用作支撑结构。在水平方向中移动的装置可以位于支撑结构之间，例如，由此在水平方向中移动的装置在支撑结构件之间移动。另一方面，支撑结构可以仅位于水平移动的装置的一侧上，由此水平移动的装置可以水平移动到距支撑结构不同的距离。

[0019] 图2示出了根据实施例的在负载上方水平地移动的装置202。水平移动的装置可能已经安装或者可以安装在负载操纵装置上，诸如以上提到的负载操纵装置中的一个。水平可移动装置可以是在连接起重机的竖直支撑件的桥上可移动的吊重行动车。水平可移动装置包括可以附接到负载以操纵负载的夹持部件204、206。夹持部件连接到水平可移动装置，以在竖直方向中移动。这样，夹持部件可以被提升和降低，从而可以调节它们到负载和/或地面的距离。同时，水平可移动装置使得可以在操纵负载时在水平方向中移动夹持部件。在水平和竖直方向中的移动允许夹持部件在负载操纵上具有负载和不具有负载的两种情况下的移动。定位装置208以定位装置被引导到夹持部件204的这种方式安装在夹持部件上方的水平装置上。应当注意，定位装置同样可以安装在诸如负载操纵装置的支撑结构的其它位置中，或者在负载操纵装置的操作区域中，使得定位装置可以从其安装位置被引导到夹持部件。

[0020] 定位装置产生其目标的定位数据(诸如图像数据)。可以从定位装置的测量区域(诸如图像区域)产生定位数据。定位装置有利地被引导到夹持部件附接到负载的地方处的夹持部件。因此，方向可以有利地朝向吊钩或集装箱抓取器的扭锁。扭锁位于集装箱抓取器的拐角处。集装箱抓取器被用于通过将扭锁引导到集装箱的角件(corner piece)中的开口而附接到集装箱，由此集装箱通过扭锁附接到集装箱抓取器。当需要时，可以将多个定位装置安装在水平可移动装置上或负载操纵装置的结构上，由此每一个定位装置可以被引导到夹持部件上的不同地方，诸如集装箱抓取器的不同拐角。位置数据可以包括三维点云(3D点云)，其中每一个点包括二维 (2D)平面中的点以及与相对于定位装置的点相关联的距离数据。在负载操纵装置上，可以将定位装置安装在负载上方水平移动的装置上，由此相对于定位装置在负载操纵装置上的安装位置形成3D点云。例如，定位装置的安装位置可以被定义为相对于水平可移动装置的位置。因此，3D点云是三维空间中的一组点。例如，可以通过笛卡尔坐标系中的轴x、y和z 设定三维空间。2D平面中的点可以被称为2D点图，由此2D点图和与点相关联的距离数据构成3D点云。

[0021] 3D点云中的点可以呈现在具有x轴和y轴的笛卡尔坐标系中，由此可以将2D平面确定为由x轴和y轴限定的平面。在这种情况下，可以借助于坐标轴的值(x，y)在2D平面中确定每一个点。与点相关联的距离数据可用于确定三维(3D)平面中的每一个点。距离数据可以确定笛卡尔坐标系中z轴的点的值，由此相对于水平可移动装置形成3D点云。除了距离数据之外，灰阶和/或颜色数据可以与点相关联。因此，每一个点可以与坐标系中的点的位置以及灰阶数据和/或颜色数据相关联，或者点可以包括坐标系中的点的位置以及灰阶数据和/或颜色数据。灰阶数据可以是在点或灰阶定义中的光强度数据。点的距离数据可以在点中作为一条单独的信息，或者点的坐标值可以被用作距离数据。

[0022] 在实施例中，夹持部件可包括通过一个或多个绳索连接到水平可移动装置的吊钩204。水平可移动装置可以具有连接到绳索的起重机构，由此绳索可以向上和/或向下移动以移动附接到吊钩的负载或移动吊钩。代替吊钩，夹持部件可以是上述所提到的任何夹持部件，诸如可以相应地通过一条绳索/多条绳索连接到起重机构的纸卷抓斗、抽吸装载器、卷筒夹具、集装箱抓取器或磁体。

[0023] 在下文中，通过使用ToF相机(飞行时间)作为定位装置的示例来描绘3D点云的产生。ToF相机产生二维图像(2D)和与2D图像的点相关联的距离数据。2D图像的点可以被确定为像素，每一个像素不仅与光亮度值(I)相关联，而且还可能与诸如RGB信息的颜色信息相关联。RGB指的是RGB颜色模型的颜色，红色(R)、绿色(G)和蓝色(B)。ToF相机将从相机的图像传感器到图像像素中可见的对象测量的距离(D)附加到2D图像的点。下面将充分详细地描述ToF相机的操作原理，以便使得本发明能够被理解。

[0024] 传统的CCD相机(电荷耦合器件)包括感光单元，该感光单元通过半导体技术制造并且包含布置在规则光栅中的光敏光电二极管。例如在现代的600万像素相机中的该光栅可能有多达2816行和2112列。这种单一光敏光电二极管被称为像素。当这种光电二极管暴露于通常通过透镜被引入的光时，光电二极管测量其所接收的光的辐射强度(I)。因此，传统的 CCD相机测量光栅的每个像素中的光强度。

[0025] 单个感光光电二极管通常不会看到颜色，但是不同颜色的滤色器可以被放置在感光二极管的顶部上，这使得可以同样通过CCD相机测量图像的颜色。滤色器通常为红、绿、蓝(R，G，B)。总而言之，传统的CCD 相机测量图像光栅的每个像素的以下值：(I，R，G，B)，但是通常省略颜色信息。

[0026] 今天，在越来越多的应用中，CCD单元由与其基本操作类似的互补金属氧化物半导体或CMOS单元取代，但是当在使用CCD单元时它在单元电路外部执行时，由单元电路执行光强度的测量，尤其是A/D(模拟-数字) 转换。

[0027] (ToF)相机与传统的CCD(和CMOS)相机不同，使得当传统相机测量来自环境的光时，ToF相机独立地产生其测量的光，并且为此通过其自身的光源照亮对象。除此之外，ToF相机测量由其产生的光行进到图像中可见的对象并在反射之后返回到相机的图像传感器所花费的时间。ToF相机行进时间的该测量在图像传感器(n，m)的每个像素上单独执行。除了传统图像之外，即强度图I(n，m)和可能的颜色图(R(n，m)、G (n，m)、B(n，m)或灰阶图，ToF相机因此同样产生其图像区域(7) 的距离图(D(n，m)。

[0028] 在本实施例中，行进时间的测量可以例如在ToF相机中实现，使得发射到对象的光被射频(RF)载波来调制，并且将从对象返回的反射光的相位与原始RF载波的相位进行比较，这使得能够确定发射光和反射光之间的相移。可以在每个图像像素中独立地确定相移。基于相移，可以对于每个图像像素分别确定从相机到对象并返回的光的行进时间。最后，利用已知的光的传播速度来计算对象到每一个图像像素的距离(D)。ToF相机可以执行多达每秒100次的所述距离测量。如今，ToF相机能够测量通常高达约十米的距离。应当注意，例如，通过平均像素组的相移或通过选择连接在一起的像素组中的一个像素来表示由像素组形成的区域，同样可以针对一组图像点以上述方式测量距离。

[0029] 除了距离信息D之外，ToF相机通常同样测量正常的黑白或彩色相机图像。总而言之，ToF相机为图像光栅的每个像素测量以下值：(I，R， G，B，D)，其中D是从相机的图像传感器到图像像素(13)中可见的对象的3D距离。然而，颜色信息通常可被省略。

[0030] 例如，共同的ToF相机的分辨率可以是320×240像素。采用典型的透镜解决方案，在测量对象中，一个像素的尺寸对应于约1mm至1cm的尺寸。描述的ToF相机特别适用于移动工作机械的应用，因为它不包含任何移动的机械部件，并且因此非常耐用，例如耐冲击。

[0031] 对于本领域技术人员来说显而易见的是，根据本发明的方法和装备同样可以采用其它定位装置(诸如相机或传感器)实现，而不是通过ToF技术实现的3D相机实现，该ToF技术产生处于诸如10Hz或更高频率的高频的3D点云。因此，3D点云至少包括到所描绘的目标的图像像素的距离信息(D)，并且在一些实施例中至少包括到所描绘的目标的图像像素的强度和距离信息(I，D)。

[0032] 用于实现定位装置的合适技术的示例同样包括结构光相机、3D激光扫描仪、全光相机、立体相机对和其它的环境3D观察传感器等。在全光相机中，在图像传感器的前方安装了特殊的微透镜晶格。例如，全光相机能够将图像向后聚焦到期望的距离。类似地，立体相机对可被认为产生强度和距离信息(I，D)。

[0033] 图3示出了根据用于定位夹持部件的实施例的方法。当至少一个定位装置以定位装置可以从其安装位置被引导到夹持部件的这种方式安装时，方法可以开始302。定位装置可以根据结合图2所描述的内容被安装在负载操纵装置上。

[0034] 3D点云由负载操纵装置的夹持部件相对于装置形成304，该装置在负载操纵装置中的负载上方水平地移动，并且夹持部件连接到该装置以在竖直方向中移动。3D点云可以由定位装置形成，或者定位装置可以提供用于形成3D点云的信息。通过将形成的3D点云与夹持部件的至少一个3D模型进行比较，夹持部件相对于水平可移动装置被定位306。可以通过定位装置预先形成3D模型，由此该方法允许在负载操纵期间定位夹持部件。因此，负载操纵装置的夹持部件形成304的3D模型和3D点云二者都可以由定位装置形成。该定位装置可以被安装在负载上方水平地移动的装置上的负载操纵装置上，由此相对于定位装置在负载操纵装置上的安装位置而在定位装置中形成3D点云和3D模型。

[0035] 在实施例中，通过将形成的3D点云与夹持部件的多个3D模型进行比较来定位夹持部件306，该多个3D模型对应于夹持部件相对于水平可移动装置的各种位置。可以通过由计算机视觉算法处理形成的3D点云和夹持部件的3D模型来定位夹持部件。计算机视觉算法可以包括处理3D点云和 3D模型的多个计算回合。3D模型可以是3D点云中的一组点。3D模型形成诸如吊钩的夹持部件的三维图案。各种夹持部件可以具有它们自己的3D 模型。

[0036] 在实施例中，通过将形成的3D点云与夹持部件的一个或多个3D模型进行比较来定位306夹持部件，并且与形成的3D点云最优对应的3D模型被用于定位夹持部件。在夹持部件的定位中，关于夹持部件的假设高度的信息可用于定义与3D点云最优对应的3D模型。关于假设高度的信息可以从负载操纵装置(诸如负载操纵装置的控制系统)获得。关于假设高度的信息可以通过单独的查询或连续更新来获得。如果最新的假设高度不可用，则可以使用对位置信息的粗略估计，诸如先前假设的高度。条件可以设定为使用先前的高度。条件可以包括以下中的一个或多个：假设高度有效的时间值以及负载操纵装置的操作模式。负载操纵装置的操作模式可以是以下中的一个，或以下中的一些的组合：负载固定到夹持部件，负载正在被移动，负载已停止，负载的行进方向(例如由x、y和z轴表示)，夹持部件正在移动，夹持部件已停止。上述模式基于夹持部件的移动性或不动性来定义。附加模式可以基于负载操纵装置的另一部分(诸如吊重行动车) 或者整个负载操纵装置的移动性或不动性来定义。

[0037] 与3D点云最优匹配的3D模型可以意味着3D点云和3D模型之间的相似性。3D模型和3D点云之间的比较可以产生可用性数字，诸如数字 0-100，在这种情况下，提供最高可用性数字的3D模型可用于定位夹持部件。对于3D点云和3D模型之间的比较，可以使用处理三维数据的方法，诸如所谓的“点云注册”方法，其中示例由J.Besl和Neil D.McKay在关于模式分析与机器智能的IEEE会刊(IEEE Transactions on Pattern Analysis and Machine Intelligence)的1992年2月2日第14卷的“A Method for Registration of 3-D Shapes(一种用于3D形状的注册的方法)”中提出。

[0038] 3D模型可以描绘相对于水平可移动装置在不同的位置中(诸如在不同距离和/或位置处)的夹持部件。形成的3D点云可以通过以下因素中的一个或多个来限定夹持部件及其位置：夹持部件到水平可移动装置的距离，夹持部件在二维平面中的位置，夹持部件的体积，夹持部件的形状，夹持部件的偏斜，以及夹持部件的倾斜度。夹持部件与水平可移动装置的距离可以是例如高度。

[0039] 在用于定位夹持部件的实施例中，通过从3D点云去除点来过滤3D点云。待去除的点可以基本上是表示在负载操纵装置的操作区域中的夹持部件的环境(诸如地板的地面)的点。可以将表示地板或地面的点确定为点距相机和/或水平可移动装置的距离。因此，代表地板或地面的点处于如下的距离处，在该距离处被操纵的负载在负载操纵装置的操作区域中处于其最低位置。其次和/或另外地，可以通过使用关于夹持部件的假设高度的信息和/或在平面中对夹持部件的位置信息(诸如对先前计算回合的位置)的粗略估计来过滤3D点云。假设高度以上和以下的点可以从3D点云中被滤除。在过滤中可以使用安全裕度(margin)，从而可以去除超过假设高度加上安全裕度的点以及低于假设高度减去安全裕度的点。相应地，如果在前一时刻的夹持部件的位置是已知的，则可以在横向方向中去除额外的点。

[0040] 在过滤之后，例如，通过比较如上所述的3D模型和3D点云，保留 3D点云的子集，其可以适于与其最优对应的3D模型。在适应中，3D模型可以被缩放，并且最优可能的参数值试图确定夹持部件的位置。夹持部件的位置可以由以下一个或多个参数确定：夹持部件到水平可移动装置的距离，夹持部件在二维平面中的位置，夹持部件的体积，夹持部件的形状，夹持部件的偏斜，以及夹持部件的倾斜度。夹持部件与水平可移动装置的距离可以是例如高度。参数值可以是绝对值或相对值，借助于该参数值确定夹持部件的位置或缩放夹持部件的位置。

[0041] 例如，通过将形成的3D点云与由吊钩构成的3D模型进行比较可以定位306吊钩。与形成的3D点云最优匹配的3D模型用于定位吊钩。吊钩的 3D模型可以包括距地面不同高度的3D模型。因此，3D模型对应于从水平可移动装置的不同距离处看到的吊钩。例如，从相机的角度看，吊钩在不同的高度看起来略有不同。由于吊钩在远离相机时比在靠近定位装置(诸如相机)时更小，所以对应于不同高度的3D模型同样相应地具有不同的尺寸。不同之处由吊钩本身的距离和吊钩的取向，不同高度处的倾斜度和偏斜以及吊钩相对于相机的光学中心的位置等影响。

[0042] 在实施例中，3D模型对应于夹持部件的位置，夹持部件的位置中的每一个位置可以通过以下一个或多个因素来确定：夹持部件到水平可移动装置的距离，夹持部件在二维平面中的位置，夹持部件的体积，夹持部件的形状，夹持部件的偏斜，以及夹持部件的倾斜度。夹持部件的位置描述了夹持部件相对于水平可移动装置的位置和地方。该位置可以相对于负载操纵装置的水平可移动装置，例如通过笛卡尔坐标系中所需的坐标数，由x、 y和z轴确定。到水平可移动装置的距离可以是高度。

[0043] 当夹持部件相对于水平可移动装置定位时，该方法结束308，由此夹持部件的位置可以由以下中的一个或多个来确定：夹持部件到水平可移动装置的距离，夹持部件在二维平面中的位置，夹持部件的体积，夹持部件的形状，夹持部件的偏斜，以及夹持部件的倾斜度。位置可以在三维空间中(例如在x、y、z坐标系中)被确定，其中x和y例如确定夹持部件在二维平面中的位置，并且z是夹持部件的高度。

[0044] 图4示出了根据用于通过对应于夹持部件的位置的3D模型定位夹持部件的实施例的方法。例如在图3的阶段304之后，当3D点云由负载操纵装置的夹持部件相对于装置形成304时，该方法可以开始402，该装置水平地移动到负载操纵装置中的负载上方，并且夹持部件连接到该装置以在竖直方向中移动。图4的方法可以在图3的阶段306处当夹持部件相对于水平可移动装置被定位时执行。在图4的方法中，每一个阶段404、408 可以被执行一次或多次。

[0045] 参考图4，确定夹持部件的高度404。夹持部件的高度可以例如通过将形成的3D点云与对应于夹持部件的不同高度的3D模型比较而基于3D点云来确定，基于由安装在夹持部件上方的定位装置测量的距离信息来确定，，和/或利用夹持部件的假设高度来确定。夹持部件的高度可以被确定为夹持部件的顶表面的高度。夹持部件的高度可以包括夹持部件在该处移动的地方的高度。当3D模型用于确定夹持部件的高度时，可以针对所需的高度确定3D模型，以便达到目标所在的定位精度。不同高度的夹持部件的3D 模型有利地具有不同的尺寸，由此可以通过比较3D模型和形成的3D点云的尺寸来执行与3D点云最优匹配的3D模型的定义。

[0046] 如果406可以确定夹持部件的高度，则该方法继续进行到阶段408，在该阶段使夹持部件的位置更加具体。例如，如果406形成的3D点云基本上对应于与特定高度对应的3D模型，则可以确定夹持部件的高度以对应于特定3D模型的高度。如果406形成的点云不对应于与特定高度对应的3D模型，则形成的3D点云可以与对应于第二高度的3D模型进行比较 404，直到找到与形成的点云对应的3D模型，或者已经遍历对应于不同高度的所有3D模型。

[0047] 此后，将更具体地确定夹持部件的位置，由此可以通过以下中的一个或多个来确定除了高度之外夹持部件的位置，诸如夹持部件到水平可移动装置的距离：夹持部件在二维平面中的位置，夹持部件的体积，夹持部件的形状，夹持部件的偏斜，以及夹持部件的倾斜度。这样，夹持部件的位置可以例如在x、y、z坐标系中确定。

[0048] 在实施例中，可以更具体地通过使用3D模型来确定夹持部件的位置 408，由此将形成的3D点云与夹持部件的3D模型进行比较，该3D模型对应于确定的高度并且确定以下中的至少一个或多个：夹持部件在二维平面中的位置，夹持部件的体积，夹持部件的形状，夹持部件的偏斜，以及夹持部件的倾斜度。那么这样，3D点云可以与3D模型比较，该3D模型关于高度与形成的3D点云良好对应。二维平面中的位置、体积、形状、偏斜和倾斜度可以通过使用坐标系的几个维度(诸如三维或仅仅二维)来确定。可以通过使3D点云适合3D模型来确定夹持部件(诸如中心点)在二维平面中的位置。另一方面，高度可以通过使用坐标系的一个维度来确定。因为对在其中高度基本上受到限制的高度特定3D模型进行比较，所以可以限制在对应于形成的3D点云的3D模型的定义中输入的工作和因此的时间。

[0049] 如果作为3D点云和3D模型的比较的结果，3D点云可以适合于与其最优对应的3D模型，则可以借助于相对于水平可移动装置的3D模型来定位夹持部件，并且方法结束412。

[0050] 在实施例中，除了3D模型之外，可以更具体地通过使用用于定位的夹持部件的2D模型来确定408夹持部件的位置。3D点云可以由表示水平面中的夹持部件的一个或多个2D图像形成。因此，水平面可以平行于水平可移动装置的行进方向，以便于夹持部件的定位。

[0051] 3D点云可以由立体相机对形成，该立体相机对产生两个灰阶图像或彩色图像，诸如RGB图像。当ToF相机用于形成3D点云时，同样可以获得灰阶图像或彩色图像作为副产品。然而，3D点云可能质量差，这可能被检测为噪声或粗糙。因此，改进3D点云以获得例如夹持部件的中心点的定位的足够精度可能是值得的。由立体相机对或ToF相机产生的2D图像通常是精确的，因此如下所述，采用2D图像数据，可以改进基于3D点云和3D模型的定位。

[0052] 可以通过针对夹持部件的确定的404高度来缩放夹持部件的2D模型，并且使缩放的2D模型适合于所述2D图像来改进定位精度，以便确定在所述二维平面中夹持部件的偏斜和位置。缩放的2D模型可以被适合于2D图像中，以使得缩放的2D模型最优地对应于2D图像中的夹持部件。可以通过利用2D模型和2D图像中的灰度相关性和/或吊钩的几何特征来确定对应关系。可以基于定位408来选择要使用的2D模型和/或缩放参数，该定位基于夹持部件的3D模型。借助缩放，可将2D模型带入与2D图像相同的平面。例如，基于夹持部件的3D模型的定位可以产生x、y、z坐标数据，其中z坐标表示高度。在这种情况下，z坐标数据可用于将2D模型缩放为2D图像。

[0053] 在实施例中，可以对2D图像进行滤波，从而从2D图像中确定被画轮廓的查看区域，并且使2D模型适合于所述被画轮廓的查看区域。可以通过基于3D点云和夹持部件的3D模型执行的定位来确定被画轮廓的查看区域。例如，在基于3D点云和夹持部件的3D模型进行的定位中，可以获得夹持部件在x、y、z坐标系中的位置。x和y坐标可以与2D图像在同一平面中，由此x和y坐标数据可以用于画2D图像的轮廓。例如，可以通过假设x和y坐标是夹持部件的中心来执行画轮廓，从而可以从其周围选择查看区域。可以根据需要基于夹持部件的高度(诸如z坐标)来缩放查看区域。画轮廓的优点在于，要处理的数据量是有限的，因此与2D图像相关的2D模型的处理将变得更加精确和更有效。

[0054] 如果410形成的点云不对应于3D模型，则将形成的3D点云与对应于确定的高度的第二3D模型进行比较408，直到找到对应的3D模型，或者已经遍历所有3D模型。当相对于水平可移动装置定位夹持部件时，方法结束412。

[0055] 在实施例中，可以借助于高度数据和对应于高度的3D模型来定位夹持部件。将形成的3D点云与对应于确定的高度的夹持部件的多个3D模型进行比较408。可以如在图4的阶段402处所述的来形成3D点云。对于位于特定高度处的夹持部件，可以采用对应于所讨论的高度的3D模型来确定位置。3D模型可以定义以下中的一个或多个：夹持部件在二维平面中的位置，夹持部件的体积，夹持部件的形状，夹持部件的偏斜，以及夹持部件的倾斜度。

[0056] 图5示出了根据用于控制负载操纵装置的实施例的方法。例如，如图 3的步骤306所述，当通过使用3D点云定位负载操纵装置的夹持部件时，该方法502可以开始。夹持部件的位置可以被转发到诸如可编程逻辑控制器(PLC)的负载操纵装置的控制系统。

[0057] 针对夹持部件定义了相对于在负载上方的负载操纵装置中水平移动的装置的一个新的位置504。新位置可以是对夹持部件的当前位置的校正，或者是可对应于夹持部件的3D模型的全新位置，该3D模型定义以下中的一个或多个：夹持部件到水平可移动装置的距离，夹持部件在二维平面中的位置，夹持部件的体积，夹持部件的形状，夹持部件的偏斜，以及夹持部件的倾斜度。实际上，夹持部件与水平可移动装置的距离可以是夹持部件的高度。
可以通过负载操纵装置的用户界面从用户接收新位置。新位置可以充当负载操纵装置的控制系统中的参考空间，夹持部件将被控制到该参考空间。新位置可以通过使用以下中的一个或多个来确定：夹持部件到水平可移动装置的距离，夹持部件在二维平面中的位置，夹持部件的体积，夹持部件的形状，夹持部件的偏斜，以及夹持部件的倾斜度。新位置可以在三维空间中确定，例如在x、y、z坐标系中，其中x和y例如确定夹持部件在二维平面中的位置，并且z是夹持部件的高度。

[0058] 通过采用对应于新位置的3D模型定位夹持部件，将夹持部件从其当前位置控制506到用于夹持部件定义504的新位置。存在用于夹持部件的新的和当前位置的专用3D模型，从而例如如上文结合图3的步骤304所述，可以通过形成夹持部件的3D点云来实现控制。
例如，当对应于夹持部件的位置的3D模型是对应于新位置的3D模型时，夹持部件可以以与图 3的步骤306相连描述的方式被放置在新位置中。控制可以是自动的或由用户通过用户界面至少部分地辅助的。在控制中，借助于3D模型对夹持部件的定位可用于形成用于控制夹持部件从当前位置到新位置的控制命令。在控制中，可以在参考空间和夹持部件的当前位置之间建立误差变量，由此基于误差变量将负载操纵装置和/或夹持部件控制为朝向参考空间。可以基于新的测量持续地更新控制，直到达到参考空间。

[0059] 可以通过确定夹持部件的新位置和当前位置之间的差异来执行控制，之后控制可以用于最小化差异。可以借助于例如矢量计算在3D坐标系中确定该差异。可以基于新的和当前位置的3D模型来计算差异。所计算的差异可以以诸如米的绝对值或诸如百分比的相对值在用户界面上呈现给用户。

[0060] 当夹持部件处于3D模型对应的新位置时，该方法结束508。

[0061] 图6示出了根据实施例的装置。采用该装置，可以实现上述实施例的特征。装置600包括用于形成负载操纵装置的操作区域的3D点云的定位装置(CAM)602、处理器(PU)604、存储器(M)606，其以这种方式互连，以使得数据(诸如3D点云或用于形成3D点云的数据)可以从定位装置传送到处理器，该处理器可处理接收到的数据以定位夹持部件。处理器和存储器可以被包括在定位装置中，在这种情况下，可以在定位装置中处理点云。处理器和存储器可以在数据处理设备中形成处理单元，该数据处理设备可以是用于起重装置中的计算机、定位装置或PLC。

[0062] 在实施例中，装置600是以上描述的负载操纵装置中的一个，例如根据图2的示例将定位装置安装到该装置。装置包括用于移动负载的装备608。用于移动负载的装备的示例可以包括夹持部件和移动它们的机构，诸如起重机构。处理器可以向装备608发送信息和/或消息，由此装备可以使得夹持部件和可能附接到它们的负载相对于负载操纵装置和/或在负载操纵装置的操作区域内移动。另一方面，处理器可以从装备接收信息和/或消息。该信息和/或消息可以包括例如控制信息，诸如关于夹持部件的假设高度的信息。所接收的信息和/或消息可用于通过比较形成的3D点云和夹持部件的3D模型来相对于水平可移动装置定位夹持部件。基于定位，可以形成控制消息，该控制消息使夹持部件和可能附接到它们的负载相对于负载操纵装置和/或在负载操纵装置的操作区域内移动。这样，负载可以移动到诸如水平可移动装置的距离处的位置，到二维平面中的位置，到期望的偏斜和期望的倾斜度。

[0063] 在实施例中，装置600包括用户界面单元(UI)610，其连接到处理器，以使得3D点云或包含3D点云的图像数据可以在处理器的控制下从相机传送到用户界面单元。图像数据和/或3D点云可以通过例如使用增强现实的方法而用作用户的可视化辅助，和/或在用户界面单元上呈现给用户。例如，用户可以是负载操纵装置的操作者。用户界面单元可以包括诸如液晶显示器(LCD)的显示器。显示器可以用于向用户显示信息，例如视野仪(sight apparatus)。显示器可以是触摸屏，在这种情况下，可以通过屏幕从用户接收到指令，包括用于移动夹持部件和/或负载的控制命令。显示器可以由平板计算机实现，例如，在这种情况下，用于发送数据和/或图像数据的连接可以通过无线数据通信连接来实现，诸如基于IEEE 802.11 标准的无线局域网(WLAN)连接或蓝牙连接。

[0064] 例如，图6中的单元可以通过电导体或电气总线彼此电连接。诸如 IEEE 802.11 WLAN连接或蓝牙的无线连接同样是可能的。电气连接或总线可以由Profibus现场总线、以太网连接和/或计算机总线实现。存储器可以存储程序代码，诸如在处理器中可执行的计算机程序代码，由此将实现根据实施例的一个操作或多个操作。

[0065] 应当注意，根据上述描述的实施例的装置的功能可以使用一个或多个单元来实现。单元可以互连，或者上述单元的功能可以被分配为在其它单元中执行。根据所描述的实施例的装置可以由数据处理设备、定位装置、负载操纵或类似部件的处理单元来实现，其实现了根据上述实施例的方法，其中3D点云由负载操纵装置的夹持部件相对于装置形成，该装置在负载操纵装置中的负载上方水平地移动，并且夹持部件连接到该装置以在竖直方向中移动，通过比较形成的3D点云和夹持部件的3D模型，相对于水平可移动装置定位夹持部件。

[0066] 上述实施例的技术可以由多种不同的部件实现，以使得负载操纵装置或执行上述功能的装置包括现有技术部件和用于相对于装置形成负载操纵装置的夹持部件的3D点云的部件，该装置在负载操纵装置中的负载上方水平地移动，并且夹持部件连接到该装置以在竖直方向中移动，并且通过比较形成的3D点云和夹持部件的3D模型，相对于水平可移动装置定位夹持部件。

[0067] 根据上述实施例的装置的功能可以使用对应于它们的部件来实现。每一个功能可以使用自己的部件实现，或者几个功能可以使用相同的部件实现。在示例中，上述实施例的技术可以使用包含一个或多个装置的软件来实现，软件包括一个或多个模块、固件或所有这些的组合。固件或软件可以由实现上述功能的模块(例如，作为过程、功能等)来实现。程序代码可以存储在由处理器和/或计算机可读并由一个或多个处理器和/或计算机执行的任何合适的数据存储部件、存储器单元或产品中。数据存储介质可以在处理器和/或计算机的内部或外部实现，在这种情况下，它可以各种已知方式通信连接到处理器和/或计算机。

[0068] 在实施例中，负载操纵装置或其一部分包括被配置为执行实施例中描述的功能的处理部件。

[0069] 在实施例中，根据用于执行实施例的功能的实施例，至少一个处理器、存储器和计算机程序代码形成处理部件。

[0070] 实施例包括在计算机可读存储介质中包括的计算机程序，由此该计算机程序包括当在处理器或计算机上执行时产生根据实施例的功能的程序代码。

[0071] 实施例可以被实现为由计算机程序定义的计算机方法。计算机程序可以是源代码格式、目标代码格式或中间格式，并且计算机程序可以存储在可以是能够存储计算机程序的任何件或设备的存储介质上。计算机程序可以存储在计算机可读或处理器可读的计算机程序分配介质(computer program distribution medium)上。计算机程序分配部件可以包括例如存储介质、计算机存储器、只读存储器(ROM)、电载波、电信信号和软件分配包。

[0072] 实施例包括用于计算机的计算机程序产品，该计算机程序产品包括用于执行根据上述任一实施例的功能的程序代码部分。

[0073] 对于本领域技术人员显而易见的是，随着技术的进步，本发明的基本思想可以以许多不同的方式来实现。因此，本发明及其实施例不限于上述示例，而是可以在权利要求的范围内变化。