基本信息:
- 专利标题： 一种基于多模态融合的物体抓取方法
- 申请号：CN202510381684.2 申请日：2025-03-28
- 公开(公告)号：CN119888209A 公开(公告)日：2025-04-25
- 发明人： 梁桥康 , 赖垚鑫 , 邓淞允 , 秦海
- 申请人： 湖南大学
- 申请人地址： 湖南省长沙市岳麓区麓山南路2号
- 专利权人： 湖南大学
- 当前专利权人： 湖南大学
- 当前专利权人地址： 湖南省长沙市岳麓区麓山南路2号
- 代理机构： 长沙市融智专利事务所(普通合伙)
- 代理人： 熊开兰
- 主分类号： G06V10/25
- IPC分类号： G06V10/25 ; G06N3/0464 ; G06N3/096 ; G06T7/70 ; G06V10/774 ; G06V10/80 ; G06V10/82 ; G06V20/70
摘要：
本发明公开了一种基于多模态融合的物体抓取方法：构建抓取推理网络，包括多模态融合模块、残差块和转置卷积模块；多模态融合模块对深度图像、彩色图像以及融合信息进行多分支特征提取，以及使用注意力机制对提取的特征进行分层融合处理；使用第1场景的标记数据集训练抓取推理网络，并选取最佳的抓取检测模型作为下一场景的教师模型以及学生模型的初始化基准；从已训练场景的标记数据集各取部分训练数据，并取当前场景的所有标注数据，采用知识蒸馏方法并使用教师模型作为指导对当前初始化的学生模型进行指导训练；使用当前得到的抓取检测模型对已训练场景下的物品进行抓取检测。本发明能有效平衡机器人对抓取学习的稳定性和可塑性。