基本信息:
- 专利标题： 一种多模态高光谱图像分类方法及系统
- 申请号：CN202411955490.0 申请日：2024-12-28
- 公开(公告)号：CN119888333A 公开(公告)日：2025-04-25
- 发明人： 徐亦飞 , 李佳潞 , 曹凌铭 , 孙媛 , 胡卫 , 郏正慧 , 尉萍萍 , 饶元
- 申请人： 西安交通大学
- 申请人地址： 陕西省西安市碑林区咸宁西路28号
- 专利权人： 西安交通大学
- 当前专利权人： 西安交通大学
- 当前专利权人地址： 陕西省西安市碑林区咸宁西路28号
- 代理机构： 西安通大专利代理有限责任公司
- 代理人： 李垌烨
- 主分类号： G06V10/764
- IPC分类号： G06V10/764 ; G06V10/80 ; G06V10/82 ; G06V20/10 ; G06N3/0455 ; G06N3/0464 ; G06N3/082
摘要：
本发明公开了一种多模态高光谱图像分类方法及系统，基于3D立方体和原始的中心像素，提取高光谱图像和其他模态图像的空间特征和像素级特征，基于图像块和中心像素，充分挖掘了HSI和其他模态图像的空间光谱特征与独特特征，并在此基础上构建了单一模态令牌和混合模态令牌，以与输入特征矩阵的行数呈线性相关的计算代价自适应地融合多模态特征，减少了信息的丢失，提高了分类效果，同时，生成的令牌不仅包含了各单一模态令牌，也包含了多模态融合令牌，全面地考虑到了各种特征融合情况，最大可能地减少了在特征融合过程中带来的信息丢失。