堆场三维地图建立方法、库存管理方法、设备及介质转让专利
申请号 : CN202011467936.7
文献号 : CN112465976B
文献日 : 2021-07-20
发明人 : 李益波 , 朱帮银 , 庞红云 , 张志真 , 黄文韬 , 何天元 , 梁一锋 , 杨毅 , 余飞
申请人 : 广州港数据科技有限公司
摘要 :
权利要求 :
1.一种堆场三维地图建立方法,其特征在于,所述方法包括以下步骤:(1),采集堆场垛位的序列图像;
通过无人机上搭载的多个相机,同时从垂直角度和倾斜角度采集堆场垛位的序列图像,无人机各条航拍航带之间彼此平行,各条相邻的航拍航带之间的间距相等,在各条航拍航带内的任意两幅彼此相邻的序列图像之间包含有不低于50%的重叠被测区域,任意两条彼此平行的相邻航拍航带之间包含有不低于50%的重叠被测区域;
(2),获取堆场的点云数据;
通过图像匹配算法,提取序列图像中处于同一条航拍航带内的相邻的序列图像中重叠区域内所包含的同名特征点和处于相邻航拍航带内的相邻图像中重叠区域内所包含的同名特征点,对所获得到的同名特征点进行欧氏重建并在三维空间内进行三角化处理,由堆场的序列图像生成出放置堆场的点云数据;
(3),利用堆场的点云数据,生成数字高程模型数据;
从所述点云数据中提取特征点、线、面,同时,通过基于凸包分割的四面体剖分体积算法获取体积信息,构网内插生成数字高程模型数据;获得堆场的初始建筑模型、初始集装箱模型和初始设施模型;
所述基于凸包分割的四面体剖分体积算法,具体包括:(3.1),基于凸包分割的四面体剖分;
(3.2),基于拟合曲面计算所述四面体的四个顶点的法向量,并对所述法向量的指向进行一致化;
(3.3),若一个所述四面体的每个顶点的沿法向量指向的射线与四面体的外接球均有交点,判定该所述四面体为体外四面体;否则,判定该所述四面体为体内四面体;
(3.4),所有所述体内四面体的体积之和为结果体积;
步骤(3.1),所述基于凸包分割的四面体剖分,具体包括:(3.1.1),基于步骤(2)中获取的点云数据构建初始四面体,形成初始四面体网格;
(3.1.2),将步骤(2)中获取的点云数据中的散乱的点作为输入点插入当前四面体网格中,对于输入点,使用随机行走方法来寻找包含该输入点的四面体;
先指定一个四面体,如果该输入点位于该四面体内,则完成行走,如果不在该四面体内,则随机指定一个三角面,如果该三角面所在的平面将该四面体和该输入点分割开,下一个访问的四面体就是共享该三角面的邻近四面体;否则,就按预定的顺序遍历其他的面,直到找到分割开该四面体和该输入点的面;
(3.1.3),找到包含该输入点的四面体,则将该四面体分割成为4个小的子四面体;
(3.1.4),如果该输入点位于当前四面体网格外,则选择网格的一个可见面;连接该输入点与该可见面的三个顶点构成新的四面体加入到四面体网格中;
(3.1.5),重复步骤(3.1.2)至步骤(3.1.4),直到步骤(2)中获取的点云数据中的所有散乱的点都被插入四面体网格;
(3.1.6),验证Delaunay三角剖分的有效性;
首先检查Delaunay三角剖分数据结构的连贯性,即四面体的邻接关系,然后验证各四面体的方向和由Delaunay三角剖分获得的凸包的正确性;
(4),通过倾斜影像形成倾斜影像贴图模型,并从倾斜影像中提取建筑物的倾斜影像、集装箱的倾斜影像和堆场设施的倾斜影像;
(5),通过倾斜影像贴图模型,将建筑物的倾斜影像、集装箱的倾斜影像和堆场设施的倾斜影像贴图至初始建筑模型、初始集装箱模型和初始设施模型,形成堆场的建筑模型、集装箱模型和设施模型;
(6),将堆场的建筑模型、集装箱模型和设施模型叠加形成堆场的三维地图。
2.如权利要求1所述的堆场三维地图建立方法,其特征在于,步骤(3.4),所有所述体内四面体的体积之和为结果体积,具体是指根据以下公式计算各四面体的体积之和,就可以得到物体的结果体积:
。
3.如权利要求1所述的堆场三维地图建立方法,其特征在于,无人机航摄影像地面分辨率不低于0.08米;和/或,平均航向重叠度不低于75%,平均旁向重叠度不低于50%;和/或,同一航线上相邻像片的航高差不大于30米,最大航高与最小航高之差不大于50米,实际航高与设计航高之差不大于50米。
4.如权利要求1至3中任一项所述的堆场三维地图建立方法,其特征在于,通过倾斜影像形成倾斜影像贴图模型,具体包括:对倾斜影像依次进行正射纠正、影像镶嵌、影像处理、数字正射影像裁切,形成数字正射影像数据。
5.如权利要求3所述的堆场三维地图建立方法,其特征在于,还包括:采集道路网数据,并利用数字正射影像数据,形成道路网矢量数据;
采集矢量数据,并利用数字正射影像数据,叠加形成影像数据数字化划图;并对矢量数据进行数据分层和坐标转换,形成统一坐标系的矢量地图;
对数字正射影像数据和数字高程模型数据分别进行坐标转换处理,形成统一坐标系的数据;
将堆场的建筑模型、集装箱模型、设施模型、矢量地图、统一坐标系的数字正射影像数据、统一坐标系的数字高程模型数据和倾斜影像进行数据融合,形成堆场的三维地图。
6.一种库存管理方法,其特征在于,包括使用如权利要求1至5中任一项所述的堆场三维地图建立方法建立起的堆场的三维地图,与车载终端跑垛APP、资源图形化调度作业监控管理系统和基础信息管理系统之间进行数据交互。
7.一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至5中任一项所述的堆场三维地图建立方法。
8.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有执行权利要求1至5中任一项所述的堆场三维地图建立方法的计算机程序。
说明书 :
堆场三维地图建立方法、库存管理方法、设备及介质
技术领域
背景技术
操作不受控、现场安全事故率高、走错垛、装错货、作业指令无法执行和实时监控。即便港口
港区投入了高额的人工成本,港口管理中仍然存在以下问题:进出港区的人员、车辆无法快
速找到对应的办事地点,办事效率低下、客户满意度较低;同时货物繁杂,如何准确快速的
找到目标货物、对各类杂货进行存量测算都给货物的管理带来了困扰,更有甚者在货物的
装卸过程中还会被不法偷盗。
发明内容
跟踪、过程控制和可视化管理,提高装卸效率,降低运营成本,有效解决港口生产过程中司
机操作不受控、现场安全事故率高、走错垛、装错货、作业指令无法执行和实时监控的难题,
特别是货物在装卸过程中易被不法偷盗的问题。
拍航带内的任意两幅彼此相邻的序列图像之间包含有不低于50%的重叠被测区域,任意两
条彼此平行的相邻航拍航带之间包含有不低于50%的重叠被测区域;
的同名特征点,对所获得到的同名特征点进行欧氏重建并在三维空间内进行三角化处理,
由堆场的序列图像生成出放置堆场的点云数据;
装箱模型和初始设施模型;
型、集装箱模型和设施模型;
一个访问的四面体就是共享该三角面的邻近四面体;否则,就按预定的顺序遍历其他的面,
直到找到分割开该四面体和该输入点的面;
上相邻像片的航高差不大于30米,最大航高与最小航高之差不大于50米,实际航高与设计
航高之差不大于50米。
据。
像数据数字化划图;并对矢量数据进行数据分层和坐标转换,形成统一坐标系的矢量地图;
对数字正射影像数据和数字高程模型数据分别进行坐标转换处理,形成统一坐标系的数
据;将堆场的建筑模型、集装箱模型、设施模型、矢量地图、统一坐标系的数字正射影像数
据、统一坐标系的数字高程模型数据和倾斜影像进行数据融合,形成堆场的三维地图。
和基础信息管理系统之间进行数据交互。
场三维地图建立方法,以解决现有技术的作业车辆经常走错位、调度指令执行无法实时监
控,港内车辆作业过程无法监控,货物变化无法实时更新的技术问题。
度指令执行无法实时监控,港内车辆作业过程无法监控,货物变化无法实时更新的问题。
全过程实时监控;通过与港口生产业务系统的实时无缝连接,实现调度人员与机械司机作
业指令的实时传递,有效提高码头作业效率,大大提高了码头堆场的智能化管理水平;同时
通过无人机测绘实现港口堆场的实时地图化,保证堆场垛位信息的实时更新和可视化管
理,以解决现有技术的作业车辆经常走错位、调度指令执行无法实时监控,港内车辆作业过
程无法监控,货物变化无法实时更新的技术问题。
附图说明
具体实施方式
不作为对本发明的限定。
筑模型、集装箱模型和设施模型;
的序列图像,在采集过程中,无人机各条航拍航带之间彼此平行,各条相邻的航拍航带之间
的间距相等,在各条航拍航带内的任意两幅彼此相邻的序列图像之间包含有不低于50%的
重叠被测区域,任意两条彼此平行的相邻航拍航带之间也包含有不低于50%的重叠被测区
域。
保航测成果质量、精度能够满足后期数据处理时的要求。例如,对于无人机拍摄,可以使无
人机航摄影像地面分辨率不低于0.08米,和/或平均航向重叠度不低于75%、平均旁向重叠
度不低于50%,和/或同一航线上相邻像片的航高差不大于30米、最大航高与最小航高之差
不大于50米、实际航高与设计航高之差不大于50米;选择像片时,像片倾角一般不大于5°、
最大不超过12°、出现超过8°的片数不多于总数的10%,对于特别困难的地区,像片倾角一
般不大于8°、最大不超过15°、出现超过10°的片数不多于总数的10%,像片旋角一般不大于
15°,在像片航向和旁向重叠度符合规范要求的前提下,最大不超过30°;在一条航线上达到
或接近最大旋偏角限差的像片数不得连续超过三片;在一个摄区内出现最大旋偏角的像片
数不得超过摄区像片总数的10%。本项目采集的影像清晰,反差适中,颜色饱和,色彩鲜明,
色调一致,有较丰富的层次、能辨别与地面分辨率相适应的细小地物影像。本项目外业采集
避免补摄与重摄,对于航摄中出现的相对漏洞和绝对漏洞均应及时补摄,采用前一次航摄
飞行的数码相机补摄,补摄航线的两端根据实际情况按超出漏洞之外两条基线进行补摄。
站软件,设置航线的间距和飞行的方向,本项目提供的软件可自动生成航线文件。得到符合
要求的像片后,对该像片进行辐射校正和几何校正,制作的到航线和像片的结合图。
网,按照航向8条基线,旁向间隔一条基线,布设控制点,植被覆盖隐蔽地区可适当放宽基线
数;3)不规则区域网,应在凸角处增补平高点,凹角处增补高程点;但当凹凸角之间距离超
过4条基线时,凹角处亦应布平高点,如图3所示,其中,空心圈代表平高控制点,实心圈代表
高程控制点。对于一些特殊情况的区域网布点,例如:1)航摄区接合处的布点;航摄分区接
合处的控制点应布设在航线重叠接合处,邻区尽量公用;如不能满足公用要求时,应分别布
点;2)航向重叠不够时的布点;航向重叠部分小于53%的重叠度时,视为航摄相对漏洞,应
分别布点,遇绝对漏洞处(无法航摄补救时)应实地补测数字地形图;3)旁向重叠不够时的
布点;当旁向重叠部分小于15%的重叠度时,须分别布点;若重叠部分大于像片上1cm,影像
清晰,且范围内无重要地物时,可在重叠部分加测2~3个高程点,否则重叠不够部分应实地
补测数字地形图。
位实地的判刺精度为图上0.1mm。像片点位刺孔应刺透。刺点位置刺偏时,应换片重刺或作
说明;点位刺孔后要在实地与目标校核,并绘制略图及编写点位说明;其次,当点位选在高
出或低于地面0.2米以上的,应说明点位落于坎上或坎下,必须量其至较大参照地面比高,
注至0.1m;再者,控制片仅整饰刺点片;同航线和相邻航线公用点只进行转标,相邻区域公
用点为避免转刺的误差,也只进行转标;另外,像控点中的平高点前冠P,高程点前冠G;还包
括像控点的整饰。
超过地物点平面位置中误差的1/5;像片控制测量高程精度为,像片高程控制点和平高控制
点相对邻近基础控制点的高程中误差不应超过基本等高距的1/10。
如因楼房无法到楼顶测量、GPS信号差以及无法到达的墙角等,可采用引点法测量,即先用
GPS‑RTK布设一对相互通视的图根点,再利用全站仪配合小棱镜,在其中一个图根点上设
站,经另一点检核无误后,测定像控点坐标。
对定向,再按区域网进行绝对定向后,进行光束法区域网整体平差,得到加密点成果。加密
点选刺时,加密点本身所需的连接点(标准点)不能与像控点共用时应另选标准点;加密本
身的连接点,应选在规定的1,3,5,2,4,6六个标准点的位置附近,其中1,2点选在距像主点
1cm范围内,个别困难时亦应在1.5cm范围内,3,4,5,6点应与测图定向点一致,其离开方位
线的距离应大致相等,且大于5cm。旁向重叠过大,连接点离开方位线值的距离不小于5cm
时,应在距方位8‑10cm处,或离开通过像主点单垂直于方位线的距离不大于1cm范围内补选
标准点;当旁像重叠过小,在重叠中线处选点难以保证量测精度时,应分别选点,其中两点
至旁向重叠中线之和不得大于1.5cm;点位离各类标志要大于1mm。另外,自由图边应照顾像
对测绘面积,把点选在测图范围线外。其余细节均可根据实际使用时的堆场情况进行设定,
在此不再赘述。
序列图像中重叠区域内所包含的同名特征点和处于相邻航拍航带内的相邻图像中重叠区
域内所包含的同名特征点,对所获得到的同名特征点进行欧氏重建并在三维空间内进行三
角化处理,由堆场的序列图像生成出放置堆场的点云数据。
射到影像立体模型上,进行检查观测,保证每个DEM格网点都贴近地面;当DEM格网点高程误
差超限需要编辑时,应寻找有问题的等高线、高程注记点进行修测,或增加特征点、特征线,
重构网内插生成DEM数据。
点数系统中,因计算机数值精度有限而导致拓扑错误。
箱模型中任意两点连成的线段的最小凸多面体;在初始设施模型中,凸包为包含在任一个
设施模型中任意两点连成的线段的最小凸多面体。
面体,如果该输入点位于该四面体内,则完成行走。如果不在该四面体内,则随机指定一个
三角面,如果该三角面所在的平面将该四面体和该输入点分割开(即该四面体和该输入点
在该三角面所在的平面的两侧),下一个访问的四面体就是共享该三角面的邻近四面体;否
则,就按预定的顺序遍历其他的面,直到找到分割开该四面体和该输入点的面。
入到四面体网格中;在此提醒的是,选择可见面时,尽量避免使新生成的四面体是狭长的。
得的凸包的正确性。
体,如果该输入点P位于该四面体内,则完成行走;如果不在该四面体内,就构建一条射线,
原点是当前四面体的体内一点,标记为C,它的方向为C→P,定位到与该射线相交的一个四
面体的面,与当前四面体相邻并共用这个面的四面体就是包含P的下一个候选四面体。这个
方法虽然快捷,但有个缺陷,即当射线穿过四面体的顶点或边时与射线相交的下一个四面
体不是相邻的四面体,导致P的定位错误,而随机行走方法有效地避免了该现象。
何拓扑信息,直接确定体外四面体比较困难,因此本申请借由计算散乱的点的四面体的顶
点的法向量来描述四面体所处位置,从而剔除体外四面体。步骤(3.2)具体包括:
曲面参数,二次曲面方程可表示为:
建一条边,边的权值用ni*nj表示,这样法向量一致化就可归结为图的总权值最大化问题,这
里的主要问题是选取连接图中的哪对节点。由于物体表面可以认为是单连通元,所以图应
该是连通的。最小生成树就是一个连接邻近点的简单连通图,因此基于散乱点的欧几里得
距离建立最小生成树。由于初始最小生成树边的密度不能满足本文要求,因此需要添加边,
如果两个节点中的一个点是另一个点的K近邻则连接两点,由此生成的图称为黎曼图
(Riemanniangraph);然后,再基于该图生成最小生成树,选择一个种子法向量,按深度优先
准则在最小生成树中传播调整法向量方向。调整规则就是:对于最小生成树中的两个近邻
点,如果相应法向量的点积ni*nj<0,则ni或nj应当被反向。
比较平滑的情况下K可以取偏小的值;如果表面纹理复杂,K可以取偏大的值。
向量则指向四面体内部或附近区域。实验表明,在获得正确法向量的前提下,利用顶点的法
向量是否和四面体外接球相交来剔除体外四面体可以取得理想的结果。具体算法是:遍历
四面体,计算每个四面体的外接球,然后从四面体的每个顶点沿着法向量方向引出一条射
线,如果4个顶点的射线都与外接球有交点(不包含射线原点),可以认为该四面体为体外四
面体,不予考虑(若每个顶点的沿法向量指向的射线与四面体的外接球均有交点、即4个顶
点的沿法向量指向的射线与四面体的外接球有4个交点,判断其为体外四面体);否则,计算
该四面体的体积并加入总体积。
上述方法的可行性。步骤(3.4),所有所述体内四面体的体积之和为结果体积。
表面网络模型,其将表面重建问题表示为Poisson方程的解,通过估计模型的指示函数和提
取等值面,对表面重建一个无缝的三角逼近,这使得很多对隐式表面进行拟合的方法把数
据分隔到不同区域进行局部拟合,然后使用合成函数进一步合成这些局部拟合结果,相比
而言,Poisson重建是一个全局方法,不借助于启发式的分割或合并,这样它能创建较光滑
的表面,稳健地近似含有噪声的数据。
的四面体剖分、法向量的计算、体外四面体的剔除和体积的计算等步骤,在保证准确度的前
提下,大幅度提高了效率,使实时的快速体积计算成为可能。
避免穿越房屋、地块、高于地面地物等,保证所镶嵌的地物影像完整、连续,无缝和视觉一致
性,且无明显的像片拼接痕迹。
地形变换处等。如果局部匹配存在问题,则应回到相对定向,在出现问题的部分增加相对定
向点,或在匹配预处理中增加特征点、特征线。
影方向不一致而产生的影像扭曲变形。
解各帧之间的变换参数;然后,以场景的公共部分为基准,把不同时间、角度、照度获取的多
帧图像叠加匹配到统一的坐标系中,以完成图像的配准;再计算出相应的平移向量与旋转
矩阵,同时消除冗余信息(点云计算与配准,除了会制约三维重建的速度,也会影响到最终
模型的精细程度和全局效果);c)数据融合,经过配准后的深度信息仍为空间中散乱无序的
点云数据,仅能展现景物的部分信息,因此必须对点云数据进行融合处理,以获得更加精细
的重建模型,本申请提供的实施例中生成构造的是体积网格,网格把点云空间分割成极多
的细小立方体,从而构建三维模型;d)表面生成,利用倾斜影像采集的真实场景图片为三维
模型贴图,纹理映射,生成三维模型表面,从而构造物体的可视等值面;e)输出三维成果。
矢量数据成果,结合现场核实的方式,核查纠正道路方向、道路名称、是否单双行的情况。最
终形成道路网数据成果。道路网数据采集流程示意图如图6所示。
路、铁路、建筑物、植被、水系、货物堆积范围等主要地理实体信息,可以初步矢量化码头范
围、防坡堤、引堤和护岸、港池、锚地、堆场、仓库、铁路与装卸机械轨道、桥涵、防护设施等基
础设施。然后结合外业采集、核实码头范围、防坡堤、引堤和护岸、港池、锚地、堆场、仓库、铁
路与装卸机械轨道、桥涵、防护设施等通过影像无法明细识别的地物要素,以及相应的属性
信息。对地图识别具备标注性作用的地物点,进行明显标识,形成兴趣点数据。矢量数据采
集流程示意图如图7所示。
据、兴趣点数据,通过符号化,叠加影像数据,形成矢量地图数据。矢量地图的具体处理流程
可参看图8。
数字正射影像数据,如图9所示。对整幅影像数据的数字高程模型数据进行坐标转换处理,
形成统一坐标系的数字高程模型数据,具体过程可参看图9。
图。充分利用采集、生产的DOM数据、DEM数据、三维模型数据、倾斜影像数据,构建港口实景
三维地图,三维地图包括的内容有:港口地表模型、港口建筑物模型、集装箱及设施模型、堆
场模型等三维模型。通过DOM、DEM、倾斜影像、三维模型的数据融合,形成实景三维地图。三
维地图处理流程如图10。
图形化调度作业监控管理系统和基础信息管理系统之间进行数据传递,参看图11。
务,以及与生产业务系统连接,接收系统下发的作业指令;同时实现垛位信息的更新维护,
对垛位实施精准化管理。根据垛位的变化情况进行跑垛作业,在垛位边界上确认位置,从而
自动生产垛位边界准确数据。
的货类及存货量;同时也对港区各资源的监管展示以及区域监控报警。且资源图形化调度
作业监控管理系统设置有软硬件的结构,能够实现与车载终端跑垛APP系统作业指令交互
对接,实现对车辆作业指令的下发传输和获取垛位更新后的位置坐标和可视化图形。
场三维地图建立方法,以解决现有技术的作业车辆经常走错位、调度指令执行无法实时监
控,港内车辆作业过程无法监控,货物变化无法实时更新的技术问题。
度指令执行无法实时监控,港内车辆作业过程无法监控,货物变化无法实时更新的问题。
或其他数据。计算机可读存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存
储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器
(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读
存储器(CD‑ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或
其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照
本文中的界定,计算机可读存储介质不包括暂存电脑可读媒体(transitorymedia),如调制
的数据信号和载波。
所组成的网络上,可选地,它们可以用计算装置可执行的程序代码来实现,从而,可以将它
们存储在存储装置中由计算装置来执行,并且在某些情况下,可以以不同于此处的顺序执
行所示出或描述的步骤,或者将它们分别制作成各个集成电路模块,或者将它们中的多个
模块或步骤制作成单个集成电路模块来实现。这样,本发明实施例不限制于任何特定的硬
件和软件结合。
任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。