本发明公开了一种基于多传感器的模位置定位方法及系统，包括：分别获取待测目标的三维空间信息和像素信息；基于所述三维空间信息得出所述目标在空间中所占据的几何空间；基于所述像素信息，通过坐标转换，根据目标像素点的二维坐标计算出所述目标在场景中的三维坐标；通过所述目标在空间中所占据的几何空间对其像素点在空间中的坐标的约束，得到所述目标所有空间点的集合，实现目标的模位置定位。本发明方法重点解决目标模位置的定位问题，能够在复杂的场景中提高定位的精准度，为安防监控、轨道交通、无人驾驶及工业自动化等场景提供场景中目标模位置的定位支持。
1.一种基于多传感器的模位置定位方法，其特征在于，包括：
分别获取待测目标的三维空间信息和像素信息；获取待测目标的三维空间信息，具体过程包括：获取目标所在场景中的点云信息；通过Two Stage的三维目标检测神经网络结构，根据输入的点云及图像计算出场景中目标的三维空间信息；
通过三维目标检测神经网络获取目标的三维空间信息，具体过程包括：通过点云的聚类实现场景中目标的三维检测，并将检测到的三维边界框内的点视为前景点；逐点学习点的特征、分割原始点云，同时从分割的前景点生成区域提议位置；通过卷积层优化区域提议位置的位置和方向；候选区域池化点云以获得精细特征；根据每个三维区域提议位置，对每个三维边界框进行NMS，进一步得到精确的三维空间信息；
获取待测目标的像素信息，具体包括：通过卷积神经网络得到目标的图像特征；通过语义分割神经网络对所述图像特征进行判别，对图像中的像素点进行分类；
基于所述三维空间信息得出所述目标在空间中所占据的几何空间；具体包括：基于所述三维空间信息，通过坐标系的转换，将获取的三维边界框坐标转换为空间坐标，得出所述目标在空间中所占据的几何空间；
基于所述像素信息，通过坐标转换，根据目标像素点的二维坐标计算出所述目标在场景中的三维坐标；具体包括：基于目标的像素信息，通过标定法分别解算出每个相机的内参信息；确定地面上最少4个标志点的坐标，再由地面的标志点解算出相机的姿态信息；通过像素坐标系到物理坐标系，物理坐标系到相机坐标系，相机坐标系到世界坐标系间的转换关系，由目标像素点的二维坐标计算出目标在场景中的三维坐标；
通过所述目标在空间中所占据的几何空间对其像素点在空间中的坐标的约束，得到所述目标所有空间点的集合，实现目标的模位置定位。
2.一种基于多传感器的模位置定位系统，其特征在于，包括：
数据获取模块，用于分别获取待测目标的三维空间信息和像素信息；获取待测目标的三维空间信息，具体过程包括：获取目标所在场景中的点云信息；通过Two Stage的三维目标检测神经网络结构，根据输入的点云及图像计算出场景中目标的三维空间信息；通过三维目标检测神经网络获取目标的三维空间信息，具体过程包括：通过点云的聚类实现场景中目标的三维检测，并将检测到的三维边界框内的点视为前景点；逐点学习点的特征、分割原始点云，同时从分割的前景点生成区域提议位置；通过卷积层优化区域提议位置的位置和方向；候选区域池化点云以获得精细特征；根据每个三维区域提议位置，对每个三维边界框进行NMS，进一步得到精确的三维空间信息；
目标几何空间计算模块，用于基于所述三维空间信息得出所述目标在空间中所占据的几何空间；具体包括：基于所述三维空间信息，通过坐标系的转换，将获取的三维边界框坐标转换为空间坐标，得出所述目标在空间中所占据的几何空间；
获取待测目标的像素信息，具体包括：通过卷积神经网络得到目标的图像特征；通过语义分割神经网络对所述图像特征进行判别，对图像中的像素点进行分类；
目标三维坐标计算模块，用于基于所述像素信息，通过坐标转换，根据目标像素点的二维坐标计算出所述目标在场景中的三维坐标；具体包括：基于目标的像素信息，通过标定法分别解算出每个相机的内参信息；确定地面上最少4个标志点的坐标，再由地面的标志点解算出相机的姿态信息；通过像素坐标系到物理坐标系，物理坐标系到相机坐标系，相机坐标系到世界坐标系间的转换关系，由目标像素点的二维坐标计算出目标在场景中的三维坐标；
目标模位置定位模块，用于通过所述目标在空间中所占据的几何空间对其像素点在空间中的坐标的约束，得到所述目标所有空间点的集合，实现目标的模位置定位。
3.一种终端设备，其包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，其特征在于，所述指令适于由处理器加载并执行权利要求1所述的基于多传感器的模位置定位方法。
4.一种计算机可读存储介质，其中存储有多条指令，其特征在于，所述指令适于由终端设备的处理器加载并执行权利要求1所述的基于多传感器的模位置定位方法。
一种基于多传感器的模位置定位方法及系统
技术领域
[0001] 本发明涉及多传感器的模位置定位技术领域，尤其涉及一种基于多传感器的模位置定位方法及系统。
背景技术
[0002] 本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
[0003] 当前，定位技术被广泛应用于交通出行、无人驾驶、智慧城市等领域，同时在民用领域得到了广泛普及。在信息化的社会中，高精度定位服务是生活智能化的核心功能。在无人驾驶中，高精度定位服务是实现车辆安全行驶的重要前提。
[0004] 在当前定位领域，主要有三类技术：第一类方法是通过用户携带终端获取定位信息，即用户下载专用的手机APP或各类信标等，这类方法完全依赖于用户参与，用户体验较差。第二种技术是通过摄像头通过采集图像获取定位信息，进一步的通过坐标系的转换获取到用户的坐标，这类方法尽管不需要用户有感参与，但在场景信息复杂的情况下，定位精度大幅下降，会严重降低用户体验。第三种技术是通过多传感器的协同定位，这类方法将上述第一类和第二类方法进行了融合。但由于引入过多的传感器，这种方案在处理多类别多传感器数据的时候对于各类数据的折衷往往限制了其定位的精度。因此，如何进行多类别多传感器数据的融合以及进一步提升定位精度逐渐受到科研界和工业界的关注。
[0005] 随着深度学习的发展，卷积神经网络(CNN,Convolutional Neural Networks)已经被广泛应用在图像目标识别、检测中，如人脸识别、目标检测等。这类方法尽管大幅提升了目标识别、检测的准确度，但无法实现目标在现实场景中的定位。通过从像素坐标系到世界坐标系的转换关系，可以实现将像素中一点转换为场景中的一点，但仍无法实现目标模位置的定位。因此，当前应用的各类定位常规方法都无法实现目标模位置的定位。
发明内容
[0006] 为了解决上述问题，本发明提出了一种基于多传感器的模位置定位方法及系统，能够通过多传感器的数据融合，并在此基础上利用视觉等技术来获取目标的模位置定位，能够解决目标模位置的定位问题，能够在复杂的场景中提高定位的精准度。
[0007] 在一些实施方式中，采用如下技术方案：
[0008] 一种基于多传感器的模位置定位方法，其特征在于，包括：
[0009] 分别获取待测目标的三维空间信息和像素信息；
[0010] 基于所述三维空间信息得出所述目标在空间中所占据的几何空间；
[0011] 基于所述像素信息，通过坐标转换，根据目标像素点的二维坐标计算出所述目标在场景中的三维坐标；
[0012] 通过所述目标在空间中所占据的几何空间对其像素点在空间中的坐标的约束，得到所述目标所有空间点的集合，实现目标的模位置定位。
[0013] 在另一些实施方式中，采用如下技术方案：
[0014] 一种基于多传感器的模位置定位系统，包括：
[0015] 数据获取模块，用于分别获取待测目标的三维空间信息和像素信息；
[0016] 目标几何空间计算模块，用于基于所述三维空间信息得出所述目标在空间中所占据的几何空间；
[0017] 目标三维坐标计算模块，用于基于所述像素信息，通过坐标转换，根据目标像素点的二维坐标计算出所述目标在场景中的三维坐标；
[0018] 目标模位置定位模块，用于通过所述目标在空间中所占据的几何空间对其像素点在空间中的坐标的约束，得到所述目标所有空间点的集合，实现目标的模位置定位。
[0019] 在另一些实施方式中，采用如下技术方案：
[0020] 一种终端设备，其包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，所述指令适于由处理器加载并执行上述的基于多传感器的模位置定位方法。
[0021] 在另一些实施方式中，采用如下技术方案：
[0022] 一种计算机可读存储介质，其中存储有多条指令，所述指令适于由终端设备的处理器加载并执行上述的基于多传感器的模位置定位方法。
[0023] 与现有技术相比，本发明的有益效果是：
[0024] 本发明提出的基于多传感器的模位置定位方法，能够通过多传感器的数据融合，并在此基础上利用视觉等技术来获取目标的模位置定位。该方法重点解决目标模位置的定位问题，能够在复杂的场景中提高定位的精准度，为安防监控、轨道交通、无人驾驶及工业自动化等场景提供场景中目标模位置的定位支持。
附图说明
[0025] 图1是本发明实施例中基于多传感器的模位置定位方法流程图；
[0026] 图2是本发明实施例中三维目标检测神经网络结构示意图；
[0027] 图3是本发明实施例中多视角图像分割系统模型示意图；
[0028] 图4是本发明实施例中三维空间模位置定位示意图。
具体实施方式
[0029] 应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本发明使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
[0030] 需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
[0031] 实施例一
[0032] 首先需要说明的是，本实施例中所述的模位置，即一个目标其所有表面点位置的组合。
[0033] 传统意义上的定位结果大多是以一个二维或者三维点坐标的形式呈现，全景定位中的模位置不再将目标看成一个点，而是将其作为目标本身具有的形状、体积、占据的空间而呈现，模位置相当于对组成目标的所有点进行定位，将属于同一个目标的所有表面点位置组合起来也就是目标的模位置信息，通过目标的模位置信息可以在三维空间中还原出目标的立体结构。
[0034] 野外作业过程中，通过获取作业设备精确的模位置信息，结合周围环境的空间结构信息，即可实现对作业设备进行精确控制。
[0035] 本发明提出的基于多传感器的模位置定位方法，能够通过多传感器的数据融合，并在此基础上利用视觉等技术来获取目标的模位置定位。该方法重点解决目标模位置的定位问题，能够在复杂的场景中提高定位的精准度，为安防监控、轨道交通、无人驾驶及工业自动化等场景提供场景中目标模位置的定位支持。
[0036] 根据本发明的实施例，公开了一种基于多传感器的模位置定位方法的实施例，参照图1，包括以下步骤：
[0037] 步骤S101：基于三维目标检测获取目标的三维空间信息；
[0038] 具体地，本实施例通过三维目标检测(3DOD，3D Object Detection)神经网络获取目标的三维空间信息。相比于传统的二维目标检测神经网络，其功能不同之处在于在三维目标检测的三维边界框(3D Bounding Box)的表示相对于二维目标检测多了一个维度的位置和尺寸。通过额外获取到的位置及尺寸信息，可以进一步地得知目标在空间中的三维信息。
[0039] 在本实施例中，通过计算目标三维空间位置，自主驾驶的车辆或机器人可以准确的预判周围场景中同行设备的行为和路径，能够很好地避免碰撞。
[0040] 本实施例中涉及的步骤主要包括两部分：
[0041] 首先，通过激光扫描仪生成场景中的点云信息。然后，再通过三维目标检测神经网络根据输入的点云及图像计算出场景中目标的三维空间信息。
[0042] 在本实施例中，对于激光扫描仪生成场景中的点云信息，主要包括利用激光扫描仪生成可以供三维目标检测神经网络使用的场景数据。
[0043] 对于三维目标检测神经网络根据输入的点云及图像计算出场景中目标的三维空间信息，则主要对三维目标检测的神经网络进行了设计。
[0044] 本步骤主要包括两个部分：
[0045] (1)通过激光扫描仪生成场景中的点云信息；
[0046] 对于场景中点云信息的生成，本实施例通过在场景中安装激光扫描仪(Laser Scanner)对场景中的信息进行采集。
[0047] 需要说明的是，本实施例中采用激光扫描获取场景点云只是一个较为优选的实施例，其他获取点云的传感器同样可以实现场景中点云的获取，如深度摄像头、三维模型逆向获取点云等。
[0048] (2)通过神经网络基于点云获取场景中目标的三维空间信息；
[0049] 本实施例设计三维目标检测的神经网络，可以有效的获取目标在空间中的三维空间信息。首先激光扫描获取场景点云作为输入，输入到三维目标检测神经网络中。由于场景中的目标是自然分离的，且彼此不重叠。因此，可以通过点云的聚类来实现场景中目标的三维检测，并将检测到的3D Bounding Box内的点视为前景点。
[0050] 因此，逐点学习点的特征、分割原始点云，同时从分割的前景点生成区域提议位置。
[0051] 在获取到目标的三维边界框后，再进一步通过卷积层优化候选框(候选框是用来在一个二维图像或者三维的点云中，框选出目标所在的位置，即区域提议位置)的位置和方向。候选区域池化点云(Pooling from Point Cloud)以获得精细特征。根据每个三维区域提议位置，对每个三维边界框进行非极大值抑制(NMS)，进一步得到精确的三维空间信息。
[0052] 本实施例中关于三维目标检测的神经网络结构采用改进的Two Stage的三维目标检测神经网络结构，具体如图2所示。需要说明的是，本实施例采用改进的Two Stage的三维目标检测神经网络结构只是一个较为优选实施例，其他三维目标检测的神经网络同样可以实现相同的功能。
[0053] 步骤S102：基于多视角图像分割神经网络获取目标的像素信息；
[0054] 在图像分割通过神经网络获取目标的像素信息阶段，先通过卷积神经网络得到的图像特征，再进一步的通过语义分割神经网络对所提取到的图像特征进行判别，对图像中的像素点进行分类。
[0055] 本实施例中对于多视角图像分割系统的设计，如图3所示。需要说明的是，在本实施例中，图像分割的神经网络设计采用了基于卷积的神经网络并给出了一个优选实施例。事实上，通过其他结构的神经网络也可以实现图像的分割。此外，对于目标像素点的分类，也可通过非深度学习的方法实现分类，如支持向量机等机器学习方法。
[0056] 步骤S103：基于信息融合获取目标模位置定位。
[0057] 具体地，首先，基于三维目标检测获取目标的三维空间信息后，通过坐标系间的转换，将获取的三维边界框的坐标转换为空间坐标。由此，可以得知一个目标在空间中所占据的几何空间。
[0058] 然后，基于图像分割神经网络获取目标的像素信息，由张正友标定法分别解算出每个相机的内参信息，通过UWB确定地面上最少4个标志点的坐标，再由地面的标志点可以解算出相机的姿态信息。
[0059] 进一步地，通过像素坐标系到物理坐标系，物理坐标系到相机坐标系，相机坐标系到世界坐标系间的转换关系，可以由目标像素点的二维坐标计算出目标在场景中的三维坐标。
[0060] 参照图4，通过一个目标在空间中所占据的几何空间对其像素点在空间中的坐标的约束，可以得到目标所有空间点的集合，即目标的模位置。
[0061] 本发明能够通过多传感器包括但不限于各类相机，激光雷达，毫米波雷达等，基于不同的组合方式来进行模位置定位。
[0062] 实施例二
[0063] 根据本发明的实施例，公开了一种基于多传感器的模位置定位系统的实施例，包括：
[0064] 数据获取模块，用于分别获取待测目标的三维空间信息和像素信息；
[0065] 目标几何空间计算模块，用于基于所述三维空间信息得出所述目标在空间中所占据的几何空间；
[0066] 目标三维坐标计算模块，用于基于所述像素信息，通过坐标转换，根据目标像素点的二维坐标计算出所述目标在场景中的三维坐标；
[0067] 目标模位置定位模块，用于通过所述目标在空间中所占据的几何空间对其像素点在空间中的坐标的约束，得到所述目标所有空间点的集合，实现目标的模位置定位。
[0068] 需要说明的是，上述各模块的具体实现方式采用实施例一中公开的方法实现，不再赘述。
[0069] 实施例三
[0070] 在一个或多个实施方式中，公开了一种终端设备，包括服务器，所述服务器包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现实施例一中的基于多传感器的模位置定位方法。为了简洁，在此不再赘述。
[0071] 应理解，本实施例中，处理器可以是中央处理单元CPU，处理器还可以是其他通用处理器、数字信号处理器DSP、专用集成电路ASIC，现成可编程门阵列FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
[0072] 存储器可以包括只读存储器和随机存取存储器，并向处理器提供指令和数据、存储器的一部分还可以包括非易失性随机存储器。例如，存储器还可以存储设备类型的信息。
[0073] 在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。
[0074] 实施例一中的基于多传感器的模位置定位方法可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器、闪存、只读存储器、可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。为避免重复，这里不再详细描述。
[0075] 本领域普通技术人员可以意识到，结合本实施例描述的各示例的单元即算法步骤，能够以电子硬件或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
[0076] 实施例四
[0077] 在一个或多个实施方式中，公开了一种计算机可读存储介质，其中存储有多条指令，所述指令适于由终端设备的处理器加载并实施例一中所述的基于多传感器的模位置定位方法。
[0078] 上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。
