经由多模融合的联合3D对象检测和取向估计

摘要

本公开整体涉及用于从3D点云和2D图像识别对象的方法和系统。该方法可包括使用3D点云上的欧几里徳聚类确定第一组3D提案，以及基于3D卷积神经网络来确定来自3D点云的第二组3D提案。该方法可包括池化第一组3D提案和第二组3D提案来确定一组3D候选者。该方法可包括将第一组3D提案投影到2D图像上以及使用2D卷积神经网络来确定第一组2D提案。该方法可包括池化投影的第一组3D提案和第一组2D提案以确定一组2D候选者，随后池化该一组3D候选者和该一组2D候选者。