基本信息:
- 专利标题： 跨模态成像特征融合方法及装置
- 申请号：CN202410038121.9 申请日：2024-01-10
- 公开(公告)号：CN118115843A 公开(公告)日：2024-05-31
- 发明人： 戴鹏 , 韩强 , 宋浩然 , 王乐 , 任盛伟 , 刘俊博 , 李海浪 , 王胜春 , 顾子晨 , 王浩然
- 申请人： 中国铁道科学研究院集团有限公司 , 中国铁道科学研究院集团有限公司基础设施检测研究所 , 北京铁科英迈技术有限公司
- 申请人地址： 北京市海淀区大柳树路2号
- 专利权人： 中国铁道科学研究院集团有限公司,中国铁道科学研究院集团有限公司基础设施检测研究所,北京铁科英迈技术有限公司
- 当前专利权人： 中国铁道科学研究院集团有限公司,中国铁道科学研究院集团有限公司基础设施检测研究所,北京铁科英迈技术有限公司
- 当前专利权人地址： 北京市海淀区大柳树路2号
- 代理机构： 北京三友知识产权代理有限公司
- 代理人： 王天尧
- 主分类号： G06V10/80
- IPC分类号： G06V10/80 ; G06V10/143 ; G06V10/44 ; G06V10/74 ; G06V10/764 ; G06V10/774 ; G06V20/64 ; G06N3/0464 ; G06N3/088
摘要：
本发明公开了一种跨模态成像特征融合方法及装置，其中该方法包括：获取三种模态中每一个跨模态单帧成像数据，进行特征提取；根据每一个跨模态单帧成像特征数据，计算三种模态之间单帧成像特征数据的相似度，生成融合后的特征数据；获取三种模态的成像数据和双模态成像数据；将双模态成像数据输入到训练好的卷积神经网络中，输出双模态成像特征数据；采用已有的三维点云网络对三维点云成像数据进行特征提取并分类，筛选三维点云成像数据，提取三维点云成像特征数据；将双模态成像特征数据与筛选后的三维点云成像特征数据进行数据融合，得到融合后的跨模态成像特征数据。本发明可以实现可见光、红外、三维点云三种不同视觉模态数据的视觉检测。