本发明涉及视觉融合定位技术领域，尤其涉及一种用于岸桥自动控制的集卡视觉融合定位系统，检测模块将相机获取的图片输入到训练好的Yolo v5s模型，完成集卡和集装箱的识别检测，并输出目标物类型和车头方向，同时输出目标物在图像中的位置；定位模块针对目标物特征的差异性，分别设计有效的定位算法；标定模块将标定相机与激光的坐标转换关系，将图像中的目标物ROI映射到点云数据中，提取目标物点云；并标定激光与桥吊的坐标转换关系，将目标物的定位数据转换到桥吊坐标系下。本发明可以提高检测与定位精度，将定位频率大大提升，同时有效地提升了算法对残缺点云的定位精度。
1.一种用于岸桥自动控制的集卡视觉融合定位系统，其特征在于：包括检测模块、定位模块、标定模块、消息发布模块；
所述检测模块用于将相机获取的图片输入到训练好的Yolo v5s模型，完成集卡和集装箱的识别检测，并输出基本特征：目标物类型和车头方向，同时输出目标物在图像中的位置，以图像ROI的像素坐标给出；
所述标定模块用于标定相机与激光的坐标转换关系，将图像中的目标物ROI映射到点云数据中，用于提取目标物点云；并标定激光与桥吊的坐标转换关系，将目标物的定位数据转换到桥吊坐标系下；
所述发布模块用于将视觉服务器上检测模块获得的目标物基本特征，和标定模块获得的目标物定位信息由ZMQ对外发布；
所述定位模块用于针对目标物特征的差异性，分别设计定位算法；
步骤一，使用标定模块的相机‑激光标定参数，提取集装箱ROI范围内的3d点云，并对集装箱点云进行半径为1cm的体素滤波，从中剔除离群噪点；
步骤二，采用RANSAC方法提取集装箱点云的上表面P，平面容许误差为3cm；
步骤三，采用切片算法快速提取平面轮廓PL：以5cm为步长，先沿大车方向对点云的小车坐标进行分组，提取每组数据中的极值作为当前切片的轮廓点，再沿小车方向同样处理；
所有切片的轮廓点组成集装箱的上表面边缘，并计算轮廓的质心PL0；
步骤四，采用直线拟合的方法，将平面轮廓PL提取为多条直线段L，验证相邻的直线段是否垂直；
步骤五，利用相邻直线段每个交点Lc和对应的直角特征，推算集装箱中心和位姿，对所有推算结果取平均值作为最终的集装箱定位值；
步骤一：使用标定模块的相机‑激光标定参数，提取集卡车板ROI范围内的3d点云，并对点云进行半径为1cm的体素滤波，从中剔除离群噪点；
步骤二：采用动态模型裁剪法修正模型点云：依据检测模块提供的集卡类型选择对应的模型，并基于车头方向选择模型的初始姿态，同时计算可视化比例，基于该比例修正模型点云；
步骤三：使用迭代最近点的点云配准方法实现集卡的精准定位：初次定位时，以PCA的粗略定位值作为迭代的初始位姿；而后续跟踪定位时，以上次的精准位置作为初始状态进行迭代。
2.根据权利要求1所述的一种用于岸桥自动控制的集卡视觉融合定位系统，其特征在于：所述检测模块中Yolo v5s模型的训练及检测过程如下：步骤一，采集5000张以上的桥吊作业区域的真实图片，里面包含不同集卡或集装箱类型、多种作业车道以及不同车头方向的图片数据；
步骤二，对真实图片进行目标物的人工标注，标注信息包括集卡或集装箱所在区域的图像ROI，以及对应的目标物类型和车头方向；
步骤三，将标注好的数据输入到神经网络进行训练，上述神经网络是基于100万张Imagenet数据的Yolo v5s预训练模型；
步骤四，将2D相机获取的图片进行裁剪、缩放的预处理，裁减掉作业范围之外的无关区域，并将图片大小进行缩放；
步骤五，将预处理后的图片输入到训练好的yolov5s神经网络中，得到包含图像ROI和目标物基本特征的推断结果，并将推断的ROI转换到原始图片的像素坐标系中，最终获取的推断信息包括目标物的图像ROI坐标，目标物类型和车头方向。
3.根据权利要求2所述的一种用于岸桥自动控制的集卡视觉融合定位系统，其特征在于：所述2D相机与3D激光雷达分别均安装于桥吊的左、右联系梁上，角度斜向下，使其完整覆盖桥吊作业区域，所述视觉服务器与交换机安装于桥吊的电气机房，并将视觉服务器、2D相机、3D激光雷达均通过网线连接到交换机。
4.根据权利要求1所述的一种用于岸桥自动控制的集卡视觉融合定位系统，其特征在于：所述标定模块的具体步骤如下：步骤一，制作一个边长为1m×1m的正方形白板，在桥吊工作范围内，由工作人员在N个不同位置举升托杆，其中N>10，保证每个位置下相机和激光均能采集完整的白板数据，并在每个位置获取同步的图像与点云数据；
步骤二，针对每组图像和点云数据，人工手动选取白板的4个角点的像素(u,v)和点云数据(x,y,z)；
步骤三，基于4N个点的2D‑3D映射关系，利用Solve PNP和最小二乘优化的方法计算相机与激光的相对位姿关系；
步骤四，将小车开到桥吊作业区域，吊具起升下放至合适高度，并在吊具下方悬挂正方形白板，使其自然下垂，获取此时的白板点云数据，记录此时的桥吊状态，具体指起升高度 h，小车位置x，大车位置y，并测量白板的下垂高度h0；
步骤五，利用白板点云计算白板在激光坐标系下的位姿，基于步骤四获取的白板在桥吊坐标系下的位姿，以此计算出激光和吊桥的相对位姿关系；
步骤六，将定位模块计算的目标物定位数据，转换到桥吊坐标系下。
一种用于岸桥自动控制的集卡视觉融合定位系统
技术领域
[0001] 本发明涉及视觉融合定位技术领域，尤其涉及一种用于岸桥自动控制的集卡视觉融合定位系统。
背景技术
[0002] 随着国际贸易体量逐渐增大，世界国家对于港口海运的需求与日俱增。近年来，新兴的物联网与人工智能技术加速了自动化在港口领域的落地，打造“无人智慧港口”可为我国进出口贸易提供强大的助力。
[0003] 想要实现岸桥的自动化控制，除了对桥吊本身进行精准定位外，还需要借助视觉系统对外部的集卡进行精准的定位，从而自动完成作业任务。
[0004] 现有的集装箱卡车定位技术主要有2大类：(1)利用2D相机获取桥吊作业区域的图像，识别车板或集装箱的特征，并利用图像特征进行定位；(2)基于激光的方案，获取集装箱或集卡的点云特征，利用点云配准实现定位。尽管上述方案已经有实际的应用先例，但在码头自动化改造中，仍然存在一些缺陷：
[0005] 第一，在人工智能与大数据的支持下，图像视觉的优势更多的体现在识别与检测层面上，而基于图像的视觉定位方案通常精度较低。此外，由于单个相机难以获取集卡的深度信息，需要不同视角的相机配合，因此增大了现场的施工与维护难度；
[0006] 第二，激光点云方案尽管可以满足全自由度的定位需求，但处理的数据量明显增大，定位帧率变低，不能适应动态定位场景。同时，不同集卡车型和不同箱型也会增加点云配准的难度，使得作业效率变低。为此，我们提出一种用于岸桥自动控制的集卡视觉融合定位系统。
发明内容
[0007] 基于背景技术存在的技术问题，本发明提出了一种用于岸桥自动控制的集卡视觉融合定位系统。
[0008] 本发明提供如下技术方案：一种用于岸桥自动控制的集卡视觉融合定位系统，包括检测模块、定位模块、标定模块、消息发布模块；
[0009] 所述检测模块用于将相机获取的图片输入到训练好的Yolo v5s模型，完成集卡和集装箱的识别检测，并输出基本特征：目标物类型和车头方向，同时输出目标物在图像中的位置，以图像ROI的像素坐标给出；
[0010] 所述定位模块用于针对目标物特征的差异性，分别设计有效的定位算法；
[0011] 所述标定模块用于标定相机与激光的坐标转换关系，将图像中的目标物ROI映射到点云数据中，用于提取目标物点云；并标定激光与桥吊的坐标转换关系，将目标物的定位数据转换到桥吊坐标系下；
[0012] 所述发布模块用于将视觉服务器上检测模块获得的目标物基本特征，和标定模块获得的目标物定位信息由ZMQ对外发布。
[0013] 优选的，所述检测模块中Yolo v5s模型的训练及检测过程如下：
[0014] 步骤一，采集5000张以上的桥吊作业区域的真实图片，里面包含不同集卡或集装箱类型、多种作业车道以及不同车头方向的图片数据；
[0015] 步骤二，对真实图片进行目标物的人工标注，标注信息包括集卡或集装箱所在区域的图像ROI，以及对应的目标物类型和车头方向；
[0016] 步骤三，将标注好的数据输入到神经网络进行训练，上述神经网络是基于100万张Imagenet数据的Yolo v5s预训练模型；
[0017] 步骤四，将2D相机获取的图片进行裁剪、缩放的预处理，裁减掉作业范围之外的无关区域，并将图片大小进行缩放；
[0018] 步骤五，将预处理后的图片输入到训练好的yolov5s神经网络中，得到包含图像ROI和目标物基本特征的推断结果，并将推断的ROI转换到原始图片的像素坐标系中，最终获取的推断信息包括目标物的图像ROI坐标，目标物类型和车头方向。
[0019] 优选的，所述2D相机与3D激光雷达分别均安装于桥吊的左、右联系梁上，角度斜向下，使其完整覆盖桥吊作业区域，所述视觉服务器与交换机安装于桥吊的电气机房，并将视觉服务器、2D相机、3D激光雷达均通过网线连接到交换机。
[0020] 优选的，所述定位模块中集卡载有集装箱时，定位算法如下：
[0021] 步骤一，使用标定模块的相机‑激光标定参数，提取集装箱ROI范围内的3d点云，并对集装箱点云进行半径为1cm的体素滤波，从中剔除离群噪点；
[0022] 步骤二，采用RANSAC方法提取集装箱点云的上表面P，平面容许误差为3cm；
[0023] 步骤三，采用切片算法快速提取平面的边缘PL：以5cm为步长，先沿大车方向对点云的小车坐标进行分组，提取每组数据中的极值作为当前切片的轮廓点，再沿小车方向同样处理；所有切片的轮廓点组成集装箱的上表面边缘，并计算轮廓的质心PL0；
[0024] 步骤四，采用直线拟合的方法，将平面轮廓PL提取为多条直线段{L}，验证相邻的直线段是否垂直；
[0025] 步骤五，利用相邻直线段每个交点Lc和对应的直角特征，推算集装箱中心和位姿，对所有推算结果取平均作为最终的集装箱定位值。
[0026] 优选的，所述定位模块中集卡空载时，定位算法如下：
[0027] 步骤一：使用标定模块的相机‑激光标定参数，提取集卡车板ROI范围内的3d点云，并对点云进行半径为1cm的体素滤波，从中剔除离群噪点；
[0028] 步骤二：采用动态模型裁剪法修正模型点云：依据检测模块提供的集卡类型选择对应的模型，并基于车头方向选择模型的初始姿态，同时计算可视化比例，基于该比例修正模型点云；
[0029] 步骤三：使用迭代最近点的点云配准方法实现集卡的精准定位：初次定位时，以PCA的粗略定位值作为迭代的初始位姿；而后续跟踪定位时，以上次的精准位置作为初始状态进行迭代。
[0030] 优选的，所述标定模块的具体步骤如下：
[0031] 步骤一，制作一个边长为1m×1m的正方形白板，在桥吊工作范围内，由工作人员在N个不同位置举升托杆，其中N>10，保证每个位置下相机和激光均能采集完整的白板数据，并在每个位置获取同步的图像与点云数据；
[0032] 步骤二，针对每组图像和点云数据，人工手动选取白板的4个角点的像素(u,v)和点云数据(x,y,z)；
[0033] 步骤三，基于4N个点的2D‑3D映射关系，利用Solve PNP和最小二乘优化的方法计算相机与激光的相对位姿关系；
[0034] 步骤四，将小车开到桥吊作业区域，吊具起升下放至合适高度，并在吊具下方悬挂正方形白板，使其自然下垂，获取此时的白板点云数据，记录此时的桥吊状态，具体指起升高度 h，小车位置x，大车位置y，并测量白板的下垂高度h0；
[0035] 步骤五，利用白板点云计算白板在激光坐标系下的位姿，基于步骤四获取的白板在桥吊坐标系下的位姿，以此计算出激光和吊桥的相对位姿关系；
[0036] 步骤六，将定位模块计算的目标物定位数据，转换到桥吊坐标系下。
[0037] 与现有技术相比，上述技术方案包括以下改进点及有益效果（优点）：
[0038] 第一，本发明提出的集卡与集装箱视觉定位系统，将2D相机的检测优势与3D激光的定位优势有效结合在一起，在提高检测与定位精度的同时，也大大减小了现场的施工与维护难度；
[0039] 第二，本发明首次提出了融合2D语义信息的3D目标实时定位算法，基于Yolov5s提供的目标物类型、车头方向和可视化比例等语义信息，实现模型的选择与动态修正，从而剔除无关点云对算法耗时的影响，将定位频率大大提升；
[0040] 第三，综合考虑了点云局部与全局特征实现集卡的定位，有效适应了集卡满载和空载时的特征差异性。满载时采用集装箱的边角特征实现集卡的定位，而空载时采用动态模型的点云配准方法，有效地提升了算法对残缺点云的定位精度。
附图说明
[0041] 图1为本发明系统硬件连接示意图。
[0042] 图2为本发明系统原理图。
具体实施方式
[0043] 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0044] 请参阅图1‑2，本发明提供一种技术方案：一种用于岸桥自动控制的集卡视觉融合定位系统。
[0045] 硬件部分，包括视觉服务器，2D相机，3D激光雷达，交换机和若干网线。硬件具体布局如下：
[0046] 将2D相机和3D激光雷达分别均安装于桥吊的左、右联系梁上，角度斜向下，使其完整覆盖桥吊作业区域；
[0047] 视觉服务器与交换机安装于桥吊的电气机房，并将视觉服务器、2D相机、3D激光雷达均通过网线连接到交换机上。通过将2D相机的检测优势与3D激光的定位优势有效结合在一起，在提高检测与定位精度的同时，也大大减小了现场的施工与维护难度。
[0048] 第二，软件部分，包括四大模块，即检测模块、定位模块、标定模块和消息发布模块。每个模块的设计如下。
[0049] 检测模块：
[0050] 将相机获取的图片输入到训练好的Yolo v5s模型，完成集卡和集装箱的识别检测，并输出以下基本特征，即目标物类型和车头方向等，同时输出目标物在图像中的位置，以图像ROI的像素坐标给出；
[0051] 步骤一，采集足够数量（5000张以上）桥吊作业区域的真实图片，里面包含不同集卡或集装箱类型、多种作业车道以及不同车头方向的图片数据；
[0052] 步骤二，对真实图片进行目标物的人工标注，标注信息包括集卡或集装箱所在区域的图像ROI，以及对应的目标物类型和车头方向等；
[0053] 步骤三，将标注好的数据输入到神经网络进行训练，上述神经网络是基于100万张Imagenet数据的Yolo v5s预训练模型，这样可以缩短对于目标物的训练时间；
[0054] 步骤四，将2D相机获取的图片进行裁剪、缩放等预处理，裁减掉作业范围之外的无关区域，并将图片大小进行缩放，可以减小后续推断的时间；
[0055] 步骤五，将预处理后的图片输入到训练好的yolov5s神经网络中，得到包含图像ROI和目标物基本特征的推断结果，并将推断的ROI转换到原始图片的像素坐标系中。具体的，最终获取的推断信息包括目标物的图像ROI坐标，目标物类型和车头方向等。通过提出了融合2D语义信息的3D目标实时定位算法，基于Yolov5s提供的目标物类型、车头方向和可视化比例等语义信息，实现模型的选择与动态修正，从而剔除无关点云对算法耗时的影响，将定位频率大大提升。
[0056] 定位模块：
[0057] 针对目标物特征的差异性，分别设计有效的定位算法。集装箱上表面为理想的平面特征，与平面内部的点相比，其轮廓具有更加稳定、有效的3d特征，且该局部轮廓特征不易受内部点云缺失的影响；而集卡车板的框架比较复杂，局部特征相似而不明显，需要利用整个车板的全局特征进行定位。集卡定位算法如下：
[0058] 集卡载有集装箱时
[0059] 步骤一，使用标定模块的相机‑激光标定参数，提取集装箱ROI范围内的3d点云，并对集装箱点云进行半径为1cm的体素滤波，从中剔除离群噪点；
[0060] 步骤二，采用RANSAC方法提取集装箱点云的上表面P，平面容许误差为3cm；
[0061] 步骤三，采用切片算法快速提取平面的边缘PL：以5cm为步长，先沿大车方向对点云的小车坐标进行分组，提取每组数据中的极值作为当前切片的轮廓点，再沿小车方向同样处理。所有切片的轮廓点组成集装箱的上表面边缘，并计算轮廓的质心PL0；
[0062] 步骤四，采用直线拟合的方法，将平面轮廓PL提取为多条直线段{L}，验证相邻的直线段是否垂直，如满足垂直(夹角90°±3°)，则记录交点{Lc}；
[0063] 步骤五，利用相邻直线段每个交点Lc和对应的直角特征，推算集装箱中心和位姿，对所有推算结果取平均作为最终的集装箱定位值。
[0064] 集卡空载时：
[0065] 步骤一：使用标定模块的相机‑激光标定参数，提取集卡车板ROI范围内的3d点云，并对点云进行半径为1cm的体素滤波，从中剔除离群噪点；
[0066] 步骤二：采用动态模型裁剪法修正模型点云：依据检测模块提供的集卡类型选择对应的模型，并基于车头方向选择模型的初始姿态，同时计算可视化比例，基于该比例修正模型点云；
[0067] 步骤三：使用迭代最近点的点云配准方法实现集卡的精准定位：初次定位时，以PCA的粗略定位值作为迭代的初始位姿；而后续跟踪定位时，以上次的精准位置作为初始状态进行迭代。
[0068] 第三，综合考虑了点云局部与全局特征实现集卡的定位，有效适应了集卡满载和空载时的特征差异性。满载时采用集装箱的边角特征实现集卡的定位，而空载时采用动态模型的点云配准方法，有效地提升了算法对残缺点云的定位精度。
[0069] 标定模块：
[0070] 用于标定相机与激光的坐标转换关系，将图像中的目标物ROI映射到点云数据中，用于提取目标物点云；标定激光与桥吊的坐标转换关系，将目标物的定位数据转换到桥吊坐标系下。具体步骤如下：
[0071] 步骤一，制作一个边长为1m×1m的正方形白板，在桥吊工作范围内，由工作人员在N(N>10)个不同位置举升托杆，保证每个位置下相机和激光均能采集完整的白板数据，并在每个位置获取同步的图像与点云数据；
[0072] 步骤二，针对每组图像和点云数据，人工手动选取白板的4个角点的像素(u,v)和点云数据(x,y,z)；
[0073] 步骤三，基于4N个点的2D‑3D映射关系，利用Solve PNP和最小二乘优化的方法计算相机与激光的相对位姿关系；
[0074] 步骤四，将小车开到桥吊作业区域，吊具起升下放至合适高度，并在吊具下方悬挂正方形白板，使其自然下垂。获取此时的白板点云数据，记录此时的桥吊状态(起升高度 h，小车位置x，大车位置y)，并测量白板的下垂高度h0；
[0075] 步骤五，利用白板点云计算白板在激光坐标系下的位姿，基于步骤五获取的白板在桥吊坐标系下的位姿，以此计算出激光和吊桥的相对位姿关系；
[0076] 步骤六，将定位模块计算的目标物定位数据，转换到桥吊坐标系下。
[0077] 发布模块：
[0078] 将视觉服务器上检测模块获得的目标物基本特征，和标定模块获得的目标物定位信息由ZMQ对外发布。
[0079] 以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。
