基于无人机增强现实的城市工程质量智能评价方法及其系统转让专利
申请号 : CN202110454836.9
文献号 : CN113240249B
文献日 : 2022-04-29
发明人 : 刘俊伟
申请人 : 泰瑞数创科技(北京)有限公司
摘要 :
权利要求 :
1.一种基于无人机增强现实的城市工程质量智能评价方法,其特征在于,包括如下步骤:
S1城市工程地分布模型的获取,以及搭载AR装置的无人机巡检路径规划;
S2无人机按照规划的巡检路径飞行,并调整飞行路线飞抵至少一处城市工程地,获取所述至少一处城市工程地的当前工程数据,并对所述工程数据进行处理,形成巡检图像;
S3城市工程质量智能评价模型的建立;其中,所述城市工程质量智能评价模型利用历史巡检图像以及当前巡检图像组成图像样本空间对人工智能模型进行训练得到;
S4控制所述无人机飞抵待巡检的城市工程地,获得巡检图像,代入利用步骤S3建立的模型得到当前工程质量的评价预测结果,并通过步骤S1获取的城市工程地分布模型形成城市工程质量评价分布结果;S2中控制无人机以规定的高度按照直线定期飞行,利用AR装置上的激光雷达感知障碍物,并在预设距离内调整飞行路线绕开障碍物,直到飞抵标引;所述获取所述至少一处城市工程地的当前工程数据,并对所述工程数据进行处理,形成巡检图像具体包括:
S2‑1构建工程数据;
所述工程数据包括历史评价得分his,当前施工进度得分pres,所述历史评价得分his包括历史工程质量平均得分hisq和历史施工进度平均得分hisproc之和;
所述历史施工进度平均得分hisproc和当前施工进度得分pres包括影响工程进度因素对应的评价得分,包括资金流得分c,物流得分logis,人力技术配置得分config,天气得分clam,工程方案状态得分s中的至少一种,其中,c=a·[cp(t)·v'(t)·f(xi,t)]/[cps(t)·v's(t)·fs(xi,t)](当cp(t)·v'(t)·f(xi,t)≤cps(t)·v's(t)·fs(xi,t)),或者c=a·[cps(t)·v's(t)·fs(xi,t)]/[cp(t)·v'(t)·f(xi,t)](当cp(t)·v'(t)·f(xi,t)>cps(t)·v's(t)·fs(xi,t)),其中为a常数,根据不同的工程负责主体而取不同的值,t为当前时刻,cps(t),v's(t),fs(xi,t)分别为理想状况时的当前资金总量,当前周转速度,以及当前资金的分配;cp(t),vs(t),f(xi,t)分别为当前资金总量,当前周转速度,以及当前资金的分配;
所述物流得分logis=hs(t)/h,其中hs(t)为理想状态时当前所需物资到达工程地小时数,h为实际物资到达时的小时数;因此当h越大logis越低,从而整体工程进度得分越低;
人力技术配置得分config包括人力配置得分hum,管理得分man,技术水平得分sk,且config=hum·(B·man+C·sk),其中B,C为权重,且总和为1;
所述人力配置得分 为对工程项目所有部门求和,phycpj为部门p的人员j的心理指数,包括正常值1/2np(t),低落值0,高涨值1/np(t),由人员进入工程地时自行选择打分;nump为工程部门p配制人数得分,且nump=[np(t)‑n1p(t)+n2p(t)]/nsp(t)(当n1p(t)≥n2p(t)),或者nump=[np(t)‑n2p(t)+n1p(t)]/nsp(t)(当n1p(t)<n2p(t)),其中np(t)为当前工程项目中部门p的人数,n1p(t)为当前拟离职或拟离岗或休假人员,n2p(t)为在预设的短时期内能新任到岗的人员数,nsp(t)nsp(t)为工程项目中部门p当前理想状态‑m
时的人数;若计算结果nump>1则取nump 作为得分值,其中m为大于1的实数;
所述管理得分 其中D,E为权重,且总和为1, 为管理者的专业水平平均得分,初级为0.1,中级为0.5,高级为1; 为经验平均得分,以五年为标准,管理平均经验在5年以下的为0.1,5‑10年为0.5,大于10年为1;
所述技术水平得分 其中F,G为权重,且总和为1, 为工程技术水平平均得分,包括技术人员的技术水平平均得分 初级为0.1,中级为0.5,高级为
1,以及工程流程设计得分design,所述工程流程设计得分以与当前预测同期的各历史施工单位面积平均预期时间 与相应的各历史施工单位面积平均完成时间 比值以及历史评价得分his定义,即 equip为设备技术水平总体得分,且equip=level+b/y,其中level为设备技术总体层次,高层次为1,中层次为0.5,初层次为0.1,y为使用总体年数,b为预设的常数值,且b=3‑10;
工程方案状态得分s为根据工程的方案是否发生变动而确定,当工程方案不变时为1,当工程局部变动为0,当工程方案发生整体变动时为‑pres‑s,其中pres‑s=hisq+hisproc+c+logis+config+clam;
天气得分clam根据天气情况而定,当天气不适合施工,或工程负责主体管理者认为根据目前天气应当停工的为0,其他情况为1;
则根据分析工程质量评价总得分GD=hisq+hisproc+pres=hisq+hisproc+(c+logis+config+clam+s),计算得到的GD四舍五入到小数点后两位作为最终得分值;
S2‑2无人机获取步骤S2‑1的工程数据,每项工程数据四舍五入取整,定义图像色阶0为得分0,每100个色阶对应1个得分,在0‑255色阶范围内构建所述工程数据进行数值伪彩或灰度化,形成巡检图像,具体是为hisq,hisproc,c,logis,config,clam,s七个工程数据的每一个构建r×r个像素组成的数据像素,r∈[15,30],并根据得到的伪彩或灰度值赋予数据像素形成相应巡检数据图,依次从左往右按顺序融合七个巡检数据图形成矩形巡检图像,巡检数据图之间以灰度级255的1‑5个像素的条纹间隔。
2.如权利要求1所述的评价方法,其特征在于,S1中所述城市工程地分布模型的获取具体包括:建立城市地理坐标E,获取至少一座城市中至少一处工程地分布模型,所述工程地分布模型包括工程地边界智能提取,利用工程地周边的根据RNN循环神经网络算法提取的城市道路,RNN循环神经网络算法提取的河流道,以及语义识别的绿化带获取工程地的边界,以所述边界与东西或南北延伸直线相切的点或相交的边界上的点或重合的线中点的坐标作为该工程地的标引,在城市三维语义模型中给予表示所述标引xi,其中i为工程地的顺序号;所述无人机从监控中心起始点与目标工程地之间的直线作为规划路径。
3.如权利要求1所述的评价方法,其特征在于,所述定期为每隔若干小时,每隔一天,每隔一周,每隔15天,每隔一个月,每隔半年中至少一种。
4.如权利要求3所述的评价方法,其特征在于,S3具体包括:S3‑1获取历史巡检图像以及当前巡检图像组成图像样本空间,将其分为训练集以及验证集,两者比例为5:1‑1:1;所述历史巡检图像是指所述当前巡检图像之前获取的每一幅巡检图像;
S3‑2以七个工程数据和/或训练集中巡检图像为输入端,GD为输出端,采用人工智能模型,训练得到城市工程质量智能评价中间模型;所述人工智能模型为深度神经网络DNN,卷积神经网络CNN,或对抗网络GAN;
S3‑3使用验证集不断调整模型参数,当满足预设条件时停止训练获得最终得到城市工程质量智能评价模型。
5.如权利要求4所述的评价方法,其特征在于,S4具体包括,S4‑1控制所述无人机按照规定路径L飞抵待巡检的城市工程地,获得七个工程数据,并按照S2‑2的处理方式获得当前巡检图像,S4‑2将S4‑1中获得的所述巡检图像代入利用步骤S3‑3建立的城市工程质量智能评价模型得到当前工程质量的评价得分GD,根据得到当前工程质量的评价得分GD,各历史施工的评价得分,以及对应的各工程地历史施工单位面积平均完成时间 计算得到城市工程质量评价分布结果;
其中,所述的根据得到当前工程质量的评价得分GD,各历史施工的评价得分,以及对应的各工程地历史施工单位面积平均完成时间 计算得到城市工程质量评价分布结果具体包括:
S4‑2‑1获取当前工程已进行的时间T,及对应的多个GDv,以及各历史施工在T时刻的各历史的得分GDku,其中k为工程地序号,u为T时刻前各历史施工存在的多个得分的序号;
S4‑2‑2计算平均值 以及 则根据等式计算得到当前工程地预测结果Tea',其中, V,K,Uk分别为当前施工程地样本空间中样本数,历史工程地总数,以及地k个历史工程地在T时刻存在的总得分个数,Tk和Ak分别为第k个工程地完成施工所用时间和工程地的面积,分别为下限为1,上限是V、K、Uk的求和;
S4‑2‑3根据Tea'以及根据步骤S1得到的获取工程地的边界计算的当前工程地的面积S,得到当前工程地总完工时间Ttotal=Tea'·S,从而最终对至少一工程地的标引对应的至少一座城市中至少一处工程地分布模型中标记各当前工程地城市工程质量评价分布结果形成分布图,其中所述城市工程质量评价分布结果包括前巡检图像,Ttotal,T,中的至少一项; 表示当前工程已进行的时间T对应的多个GDv的平均值、 表示k个历史工程地已进行的时间T对应的总得分平均值、 表示k个历史工程地在已进行的时间T的 的平均值;
S4‑2‑4无人机利用搭载的AR装置拍摄工程地现场视频,将所述分布图投影到AR装置目视镜片前的投影屏幕上,并将经由目视镜片后方的相机拍摄的视频图像发送给监控中心。
6.一种实现如权利要求1‑5中任一项方法的基于无人机增强现实的城市工程质量智能评价系统,其特征在于,包括,至少一个搭载AR装置的无人机,服务器,监控中心;其中,所述无人机还在AR装置目视镜片正后方搭载用于拍摄施工现场视频的相机,所述服务器用于计算和记录工程数据,并将所述工程数据发送给AR装置,所述AR装置中的处理器形成巡检图像,AR装置将所述巡检图像和/或所述工程数据发送给监控中心;
所述监控中心用于构建城市工程地分布模型,建立城市工程质量智能评价模型,根据所述无人机发回的巡检图像和所述工程数据得到城市工程质量评价分布结果获得分布图,将标记有所述城市工程质量评价分布结果的分布图投影到AR装置目视镜片前的投影屏幕上,并将经由目视镜片后方的相机拍摄的视频图像发送给监控中心;
所述AR装置包括主体框架、目视镜片、投放屏幕,投影器,处理器,坐标定位器,无线数据收发器,坐标定位器用于定位无人机F坐标系的原点o’,所述主体框架采用透明材料制成。
7.一种计算机可读非暂时性存储介质,其中存储有可由服务器和监控中心运行而实现如权利要求1‑5中任一项方法的程序。
说明书 :
基于无人机增强现实的城市工程质量智能评价方法及其系统
技术领域
背景技术
的可视化,从而直观地获知工程的实施状况,并指导管理层实现工程的优化。
完整反映整体以及工程团队的历史情况,不能全面对工程质量进行评价。现实的工程团队
往往是在多个城市中分布,进行多工程任务的进行,工程之间也存在相互影响。并且三维模
型也局限在单个工程地的巡检(CN109446664A)。尽管无人机能够代替人员通过现场影像实
现机器监工(CN110971878A),但仅仅作为代替人力巡检的一种方式,并没有从智能化评价
工程质量角度考虑技术。利用现场可视化的AR技术虽然能够实现直观的数据获取
(CN109978409A),但也不能整体上预知工程队所负责的工程到底在完工时能否取得较好的
工程质量结果,也即仅仅局限在目前的数据获取上。
用于合适的模型,用于对当前施工数据进行分析而预测工程质量,形成在时间上的智能化
质量评价,以及从空间分布上体现一个工程队的当前工程总体质量评价分布是实现工程智
慧管理以及城市工程智慧质量评价的重要考虑的两个方向。现有技术并未对此有尝试,从
而亟需一种能够利用人工智能,利用大数据实现工程质量的时间以及空间分布的完整评价
方案。
发明内容
化处理,不仅替代人力,还用于数据的分析处理功能,实现质量评价的空间分布构建基础,
第二,考虑的是智能模型的构建,即如何将反映工程质量的多种不同类型数据进行结构化,
从而利用智能模型得到当前的工程质量评价预测。
像;
成城市工程质量评价分布结果。
地周边的根据RNN循环神经网络算法提取的城市道路、RNN循环神经网络算法提取的河流
道、以及语义识别的绿化带获取工程地的边界,以所述边界与东西或南北延伸直线相切的
点或重合的线中点的坐标作为该工程地的标引,在城市三维语义模型中给予表示所述标引
xi(i为工程地的顺序号);所述无人机从监控中心起始点出发作与目标工程地之间的直线
作为规划路径。
干小时,每隔一天,每隔一周,每隔15天,每隔一个月,每隔半年中至少一种。
和历史施工进度平均得分hisproc之和;反映了工程的完成效率与完成质量的两个方面考
虑。
平均值计算。
如高架桥,可以对高架桥进行结构健康检测得到评价得分,通过与标准道路同期评价得分
相比的获取百分比。
气得分clam,工程方案状态得分s中的至少一种;
资时则重新更新物流得分logis。其他得分项目以此类推。
(t)·v'(t)·f(xi,t)](当cp(t)·v'(t)·f(xi,t)>cps(t)·v's(t)·fs(xi,t)),其中为a
常数,根据不同的工程负责主体而取不同的值,t为当前时刻,cps(t),v's(t),fs(xi,t)分别
为理想状况时的当前资金总量,当前周转速度,以及当前资金的分配,其中为a常数,根据不
同的工程负责主体而取不同的值,t为当前时刻,cps(t),v's(t),fs(xi,t)分别为理想状况
时的当前资金总量,当前周转速度,以及当前资金的分配;所述的cps(t),v's(t),fs(xi,t)
为当其他得分项数值固定为最高分时,通过改变cp(t)、v'(t)、f(xi,t)而求得完工时间最
短时对应的cp(t)、v'(t)、f(xi,t)值。
不到位,则要考虑周转速度、其他工程地资金分配的需要、可供分配的资金总量,以及工程
地施工优先级别,从而得到满足当前工程地资金分配时所需的时间,从而计算入工程进度
中。
整体工程进度得分越低。
进入工程地时自行选择打分;nump为工程部门p配制人数得分,且且nump=[np(t)‑n1p(t)+
n2p(t)]/nsp(t)(当n1p(t)≥n2p(t)),或者nump=[np(t)‑n2p(t)+n1p(t)]/nsp(t)(当n1p(t)<
n2p(t)),其中np(t)为当前工程项目中部门p的人数,n1p(t)为当前拟离职或拟离岗或休假人
员,n2p(t)为在预设的短时期内能新任到岗的人员数,nsp(t)nsp(t)为工程项目中部门p当前
‑m
理想状态时的人数。即每个人都处于高涨值时的人数。若计算结果nump>1则取nump 作为
得分值,其中m为大于1的实数。
岗的人员过多(即n1p(t)<n2p(t)),计算结果nump>1说明人员配置中出现过剩问题,应当以
倒数m次幂作为该项的度量值,即过剩越多,得分越降得快。对于每个人员都存在心理指数,
因此需要乘以心理指数的总和
准,管理平均经验在5年以下的为0.1,5‑10年为0.5,大于10年为1;
得分 初级为0.1,中级为0.5,高级为1,以及工程流程设计得分design,所述工程流程
设计得分以与当前预测同期的各历史施工单位面积平均预期时间 与相应的各历史施工
单位面积平均完成时间 比值以及历史评价得分his定义,即 equip=
level+b/y,其中level为设备技术总体层次,高层次为1,中层次为0.5,初层次为0.1,根据
设备的专业性,基于的技术先进程度等确定,y为使用总体年数,b为预设的常数值,根据设
备的技术更新率情况,耐用情况等而确定,一般b=3‑10。
程负责主体的历史表现不同而产生额外的影响因素;而且即便在高效率完成时,完成质量
因素也应考虑,综上分析需要乘以his。
hisproc+c+logis+config+clam。
限,当天气不适合施工时,即便物流能够获得高分1,也不能正常施工),根据上述分析工程
质量评价总得分GD=hisq+hisproc+pres=hisq+hisproc+(c+logis+config+clam+s),计
算得到的GD四舍五入到小数点后两位作为最终得分值;
彩或灰度化,形成巡检图像,具体是为hisq,hisproc,c,logis,config,clam,s七个工程数
据的每一个构建r×r个像素组成的数据像素,r∈[15,30],并根据得到的伪彩或灰度值赋
予数据像素形成相应巡检数据图,依次从左往右按顺序融合七个巡检数据图形成矩形巡检
图像,巡检数据图之间以灰度级255的1‑5个像素的条纹间隔。
一幅巡检图像;
DNN,卷积神经网络CNN,或对抗网络GAN;
施工的评价得分,以及对应的各工程地历史施工单位面积平均完成时间 计算得到城市
工程质量评价分布结果。
具体包括:
Uk分别为当前施工程地样本空间中样本数,历史工程地总数(可以是近5‑10年的历史工程
地总数,或者所有历史工程地数),以及地k个历史工程地在T时刻存在的总得分个数,Tk和Ak
分别为第k个工程地完成施工所用时间和工程地的面积, 分别为下限为1,
上限是V、K、Uk的求和符号;
至少一座城市中至少一处工程地分布模型中标记各当前工程地城市工程质量评价分布结
果形成分布图,其中所述城市工程质量评价分布结果包括当前巡检图像,Ttotal,T,
中的至少一项;
心。
布图,将标记有所述城市工程质量评价分布结果的分布图投影到AR装置目视镜片前的投影
屏幕上,并将经由目视镜片后方的相机拍摄的视频图像发送给监控中心。
框架采用透明材料(如透明钢化玻璃)制成。
类型,从而找到工程薄弱环节,(3)结合历史和当前的质量的评价得分以及单位面积完成时
间,通过工程地边界计算的面积得到完工总时间,从而接借助无人机AR技术获得与城市工
程质量评价分布结果对应的现场图像,做到巡检的可视化与空间化分布,从而找到工程负
责主体在至少一处工程地施工中可能存在的普遍问题或受地区化影响产生的问题,(4)无
人机巡检替代了人力巡检,能够克服成本问题,并达到人难以到达的巡检位置,并通过数据
的获取情况得知施工现场对于工程数据的计算和积累工作的情况。
附图说明
视角观察到的投影屏幕的所述城市工程质量评价分布结果分布图,
具体实施方式
成城市工程质量评价分布结果。
程地边界智能提取,利用工程地周边的根据RNN循环神经网络算法提取的城市道路(图2中
白色直线构成)、以及语义识别的绿化带(位于白色线段之间或端部的灰色色块)获取工程
地的边界,以所述边界与南北延伸直线相切的点每一片工程地的标引,在城市三维语义模
型中给予表示所述标引,其中工程地P2标引为x2;所述无人机从监控中心起始点出发作与
其中一个目标工程地1之间的直线作为规划路径。
路线飞抵x2。
和历史施工进度平均得分hisproc之和;反映了工程的完成效率与完成质量的两个方面考
虑。
值97%,得到总评均值97.5%。
标和开发商图纸数据比较得到平均值96%,从而得到总平均得分98%。
气得分clam,工程方案状态得分s中的至少一种;
0.8,C=0.2;
p的人员j的心理指数,包括正常值1/2×327,低落值0,高涨值1/327,由人员进入工程地时
自行选择打分,发现有280人正常值,5人低落值,42人高涨值,其中人力资源和财会部门留
人皆为高涨值,物流部门7人高涨值,施工部门29人高涨值,5位工人低落值,其他295位正常
值。nump=[327‑5+3]/328=0.99。则hum=0.99×(3×1/327+29×1/327+5×0+266×1/2×
327+7×1/327+14×1/2×327+3×1/327)=0.99×0.56=0.55。
分=97%·150天/160天=0.91;equip=0.5+8/5=2.1,则sk=0.7×(0.5+0.91)+0.3×
2.1=1.62。
0.85+0.2×1.62)+1+1)=6.44,计算得到的GD保留小数点后两位作为最终得分值;
形成巡检图像,具体是为hisq,hisproc,c,logis,config,clam,s七个工程数据的每一个构
建15×15个像素组成的数据像素,并根据得到的伪彩或灰度值赋予数据像素形成相应巡检
数据图,依次从左往右按顺序融合七个巡检数据图形成巡检图像,巡检数据图之间以灰度
级255的1个像素的条纹间隔,形成灰度级为98,98,99,94,55,100,100(如图3)。
巡检图像;
络GAN;
各历史施工的评价得分,以及对应的各工程地历史施工单位面积平均完成时间30天计算得
到城市工程质量评价分布结果。
果具体包括:
工都存在的59个得分的序号(也即其他六个工程地都是每个一天巡检一次得到一副巡检图
像);
程地预测结果Tea',其中,
面积S=150000m ,得到当前工程地总完工时间Ttotal=Tea'·150000,从而最终对7个工程地
的标引对应的城市1中7处工程地分布模型中标记各城市工程质量评价分布结果获得分布
图(图4(a)),其中所述城市工程质量评价分布结果包括当前巡检图像,Ttotal=Tea'·
150000,60天,以及1个 和6个
给监控中心。
3,监控中心4;其中,
布图,并将所述分布图投影到AR装置1目视镜片12前的投影屏幕13上(图4(b)),并将经由目
视镜片12后方的相机拍摄的视频图像发送给监控中心4。
采用北斗定位系统。主体框架11采用透明材料(如透明钢化玻璃)制成。而处理器15、坐标定
位器16由于非透明,因而在图4(b)中遮挡了分布图中的一部分。